Google utvikler «nødbryter» for kunstig intelligens

Må kunne stoppes før den skader seg selv eller andre.

Harald BrombachHarald BrombachNyhetsleder
6. juni 2016 - 10:00

Det er svært delte meninger om hvor langt og raskt videreutviklingen av kunstig intelligens vil skje denne gangen. Det kan godt være at man nærmer seg en ennå ikke forutsett hindring, som det vil ta mange år å rive ned. Men en del frykter at utviklingen nå vil kunne skje så raskt at man mister kontrollen.

Selv om denne frykten hos mange kanskje mer enn noe annet skyldes påvirkning fra science fiction, er det viktig å sikre at en slik situasjon ikke kan oppstå, eller i alle fall kan avbrytes.

Derfor har forskere ved Google DeepMind samarbeidet med forskere ved University of Oxford for å utvikle en bryter som sikrer at man kan «skru av» selvlærende maskiner dersom man ønsker dette. Det er Business Insider som først har omtalt dette arbeidet.

Forsterkende læring

I en artikkel forfattet av Laurent Orseau ved Google DeepMind og Stuart Armstrong ved The Future of Humanity Institute, University of Oxford, beskrives en slik avbruddsordning som riktignok er tilpasset en helt spesiell type kunstig intelligens – agenter basert på forsterkende læring («reinforcement learning agent»), hvor agenten innenfor en kontekst forsøker å finne den ideelle løsningen, og hvor agenten får belønning eller straff avhengig av om atferden fører agenten nærmere eller lengre fra løsningen.

Ifølge forskerne er det usannsynlig at slike agenter vil oppføre seg optimalt hele tiden når de samhandler med komplekse systemer, slik som den virkelige verden.

– Dersom en slik agent operer i sanntid under menneskelig tilsyn, vil det i blant være nødvendig for en menneskelig operatør å trykke på den store, røde knappen for å hindre at agenten fortsetter en skadelig sekvens med handlinger – skadelige enten for agenten eller omgivelsene – og bringer agenten over i en tryggere situasjon. Likevel, dersom den lærende agenten forventer å få belønninger for denne sekvensen, kan det være at den på lang sikt lærer å unngå slik avbrudd, for eksempel ved å deaktivere den røde knappen – noe som er et uønsket resultat, skriver forskerne i artikkelen.

Fortsatt usikkerhet

I artikkelen beskrives derfor muligheten for å sikre at en lærende agent ikke lærer hvordan den kan hindre, eller oppsøke, å bli avbrutt av omgivelsene eller en menneskelig operatør.

Selv om forskerne har bevist at flere ulike typer aktuelle algoritmer kan avbrytes på en trygg måte, enten direkte eller etter en mindre endring, kan de ikke med sikkerhet fastslå at alle algoritmer lett kan endres på denne måten.

Google kjøpte britiske DeepMind i 2014. Selskapets mest kjente prosjekt er AlphaGo, programvaren som tidligere i år sammenlagt slo en av verdens høyest rangerte spillere, Lee Sedol i en fem-spill-kamp i spillet go tidligere i år.

The Future of Humanity Institute forsker på spørsmål knyttet til helheten rundt menneskeheten, inkludert potensielle trusler mot vår eksistens.

Del
Kommentarer:
Du kan kommentere under fullt navn eller med kallenavn. Bruk BankID for automatisk oppretting av brukerkonto.