Generativ kunstig intelligens (KI) har tatt verden med storm. Generativ KI er en fellesbetegnelse på en type kunstig intelligens som kan lage unikt innhold i form av tekst, lyd, bilder og video.
Dette er store språkmodeller trent på enorme mengder data. Det har gitt inntrykk av nesten ufattelig kapable systemer med enormt potensial for verdiskaping. Generativ KI kan øke norsk næringslivs verdiskaping med 5600 milliarder norske kroner frem til 2040, estimerte en rapport fra NHO tidligere i år. Ikke rart mange virksomheter er raskt ute med å ta i bruk og eksperimentere med generativ KI.
Sårbare språkmodeller
Vi kan ikke nyttiggjøre oss generativ kunstig intelligens om vi ikke har sikkerhet i bunn. Sikkerhet bør være innebygd og påslått som standard i hele verdikjeden, fra start til slutt. Vi må hindre muligheter for manipulasjon i innsamling av treningsdata, feedback til modellen i treningsfasen og helt frem til ferdig bruk. Hele KI-verdikjeden må bygges på en plattform som holder et høyt cybersikkerhetsnivå for å lykkes med dette.
Store maskinlæringsmodeller og nevrale nettverk er bygget på grunnprinsipper i matematikken som er godt forstått. Likevel er det mangelfullt forstått hva som konkret skjer i for eksempel Chat GPT når den lager et svar på en henvendelse fra en bruker. Hvordan får du akkurat dette svaret? Hvorfor endres svaret noen ganger når du prøver flere ganger? Hva betyr det for tilliten til resultatet? Vi trenger en bedre forståelse av hvordan modellene er bygget opp.
Denne manglende innsikten er et problem sikkerhetsmessig. Generativ KI har sårbarheter som grovt sett kan deles i to deler: Sårbarheter som følger egenskaper i maskinlæringsteknikkene som er brukt (dyp læring, nevrale nettverk, treningsdata med mer), og sårbarheter fra implementeringen av programvare (applikasjon, operativsystem, mellomvare med mer).
Vil vi klare å avdekke en sårbarhet eller – enda verre – en plantet bakdør i et nevralt nettverk om vi ikke kan verifisere eller ikke vet hvordan ser ut? Konklusjonen så langt er at generativ KI ikke er klar for bruk i kritiske systemer.
Trygge leveranser
For å benytte og forbedre KI-teknologien til nytte for samfunnet, er det helt grunnleggende at vi kan stole på systemene og resultatene de produserer. Samfunnet som helhet er avhengig av at noen forstår, verifiserer og kontrollerer kunstig intelligente systemers funksjon.
Der samfunnet har god forståelse av programvare generelt, er sårbarhetene i selve modellene knapt nok undersøkt. Derfor forsker NSM på metoder for å analysere hvordan selve maskinlæringsmodellene virker. Det gjør vi for på sikt å kunne verifisere at funksjonen til modellen er som forventet, samt avdekke om det er sårbarheter, bakdører eller andre uønskede forhold i og ved KI-systemet. Bare slik kan vi oppnå et tilstrekkelig sikkerhetsnivå.
