Nvidia har lenge vært gode på å lage grafikkort til datamaskiner og her ligger nøkkelen til selskapets suksess. Det sier Klas Pettersen, mannen bak idéen om KI-milliarden – regjeringens satsing på KI-forskning.
Grafikken i datamaskiner er blitt mer og mer avansert, med en masse innebygd: alt fra hvordan vann reflekterer lys til, ja, til alt mulig. Så en GPU, en databrikke spesialdesignet for å håndtere grafikk, er blitt veldig kompleks.
– Den store forskjellen mellom CPU-en – kjernen i datamaskinen – og GPU-en er at GPU-en kan gjøre mange operasjoner samtidig. Ikke nødvendigvis så raskt som CPU-en, men når du gjør masse parallelt, blir du mye raskere til sammen.
– Så Nvidia designer databrikker som er gode til grafikk, men hva har det med kunstig intelligens å gjøre?
Den viktigste KI-teknologien i dag er kunstige, nevrale nettverk, som har hjernen som inspirasjon. Som i hjernen kalles de enkelte bestanddelene nevroner eller hjerneceller. I kunstige, nevrale nett kan hvert nevron ta imot signaler, prosessere dem og sende ut signaler.
– Læring skjer ved at du kan justere hvor tett cellene er knyttet sammen, sier Pettersen.
Det skjer ved å sende en stor mengde data gjennom det nevrale nettet, som så finner mønstre i dataene. I prinsippet kan man gjøre mye av det på en CPU, men den må ta det steg for steg.
I praksis er oppgavene som gjøres i et kunstig nevralt nett kjempestore matrise-multiplikasjoner, og det er akkurat det GPU-ene er laget for.
Vannskille i 2012
Selv om nevrale nett ble oppfunnet allerede på 1950-tallet, var det andre teknikker som dominerte KI. Helt fram til 2012. Da deltok tre forskere i en konkurranse om å klassifisere bilder. Algoritmen deres het AlexNet, og den feide konkurrentene av banen.
Det som var hemmeligheten til forskerne bak AlexNet var at de hadde klart å bruke et større nevralt nettverk og trente det mye mer effektivt på nettopp GPU-er.
– Historien minner litt om AlphaFold, KI-programmet som kan forutse proteinfolding?
– Ja, det var også en konkurranse hvor det plutselig var en konkurrent som gjorde rent bord. Det er litt morsomt å trekke den analogien, for i år gikk to av nobelprisene til kunstig intelligens, sier Pettersen.
Nobelpriser til kunstig intelligens
I kjemi gikk den til AlphaFold, og i fysikk til blant andre Geoffrey Hinton, som var seniorforfatter på artikkelen vi snakker om nå, fra 2012.
AlexNet var et nevralt nett med åtte lag, noe som ble ansett som dypt på den tiden. Dagens nettverk varierer etter oppgaver og arkitektur, men mange har over 100. Mens AlexNet ble trent på to GPU-er i parallell, bruker vi i dag hele datasentre med tusenvis av GPU-er parallelt. Det kan koste over én milliard kroner og ikke minst mye energi.
– Danmark innviet nylig et nytt datasenter spesielt for KI. Har vi nok datakraft i Norge?
– På Universitetet i Oslo er det mange gode maskiner nå, og vi er med i Europas kraftigste superdatamaskin for KI – Lumi i Finland.
På nasjonalt nivå kommer Olivia, et regneanlegg med GPU-er for KI. Likevel er vi helt åpenbart bak både Danmark, Sverige og Finland, ja, de fleste land, egentlig, når det gjelder egen GPU-kraft, sier han.
KI blir mer og mer sett på som grunnleggende infrastruktur i samfunnet, så det er også et politisk spørsmål om vi skal være selvforsynt med datakraft.
Debatt: Kunstige ambisjoner om kunstig intelligens
– Både «forbruker-KI» som ChatGPT og modeller som AlphaFold er laget av store, private firmaer. Kan vi i det hele tatt konkurrere?
– Hvis du mener Norge, eller et universitet i Norge, så er svaret nei. Vi kan ikke lage like store modeller som Open AI og Antropic og de største firmaene gjør. Det har vi verken datakraft eller råd til, sier Pettersen.
Men trenden med å lage større og større modeller med mer og mer data kommer ikke til å vare evig.
– Selv om disse store firmaene er kjempeverdifulle, er de også ganske skjøre. Jeg var selv i en delegasjon på besøk til San Francisco i november i fjor. Mens vi planla det, var plutselig hele Open AI i ferd med å gå i oppløsning. Lederen Sam Altman fikk sparken, og Microsoft skulle ta over. Det endte med at Altman fikk så stor støtte av ansatte at han ble gjeninnsatt.
Poenget er at det er en risiko å gjøre oss avhengige av et firma som plutselig kan forsvinne. Jeg tror det er et nasjonalt ansvar, men kanskje ikke Norge bør gjøre det alene. Kanskje Europa skal lage europeiske modeller, eller i hvert fall at vi har nordiske eller skandinaviske modeller.
– Hva er viktig for KI-forskning framover?
– Det forskningsmiljøene bør fokusere på, er hvordan vi lager smartere algoritmer. I fremtiden tror jeg vi vil få algoritmer som er helt på nivå med det ChatGPT er nå, men som er såpass små at de i prinsippet kunne vært utviklet ved et universitet.
Sintef-forsker: Frykter at deepfake truer tilliten i samfunnet
Nye KI-systemer og databrikker basert på hjerneforskning
Ta bare forskningsfeltet nevro-KI, eller bioinspirert KI, hvor man nok en gang lar seg inspirere av hjernen. Nevro-KI går ut på å prøve å forstå mer av hvordan hjernen fungerer, og hvordan læring skjer i hjernen, og så utnytte det til å lage bedre KI.
Hvordan kan vi lære så mye mer effektivt i en hjerne som går på 20 watt istedenfor å ha disse store regneanleggene som trenger all verdens data for å bli smarte? Et barn trenger ikke mange opplevelser med en katt før det har forstått begrepet «katt.» Et KI-program må trenes på mange kattebilder.
– Det er fortsatt mye vi ikke helt har forstått i hjernen. Og så er det sikkert en del ting vi har forstått som vi kunne prøvd å bruke i kunstig intelligens, sier han.
Klas Pettersen tror også det er ekstremt mye å hente på å lage smartere databrikker. I nevromorf databehandling tar man inspirasjon fra hjernen for å designe databrikkene.
– Framover kommer vi til å se flere databrikker spesialdesignet for kunstig intelligens. Vi ser det allerede i Apple-telefoner. Google har sine TPU-er, som er litt som GPU-er, men spesielt designet for kunstig intelligens.
Slik når du KI-målet ditt, Karianne
En industriell revolusjon
– Hvis du tar en kikk i glasskula, hvordan vil kunstig intelligens utvikle seg?
Utviklingen innen de store, generelle modellene som ChatGPT er spennende, de blir stadig bedre. Allerede nå er de på mange måter vårt vindu til internett og informasjon. Du kan ha ChatGPT som programtillegg i Google Chrome, slik at når du søker i Chrome søker du egentlig gjennom ChatGPT. Den henter informasjon på flere nettsider og setter den sammen, akkurat sånn den tror du vil ha den.
Vi ser også en utvikling hvor de generelle modellene opptrer mer og mer som agenter. Antropic sin Claude-modell kan i prinsippet ta over mus, tastatur og skjerm og både planlegge og bestille en ferietur for deg, med flybilletter og reservasjoner på restaurant. Andre modeller kan ringe for deg. Både lovgivning og etikk omkring dette er utfordrende, for modellene er helt naturtro nå.
En ny versjon av AlphaFold ble nettopp sluppet med åpen kildekode. AlphaFold 3 handler om hvordan proteiner vekselvirker med andre molekyler. De fleste medisiner virker jo på proteiner og endrer funksjonen til proteinene, så det er kjempespennende.
– Vi diskuterte det her nettopp, om vi skulle gjøre noe på AlphaFold 3. Da AlphaFold 2 kom lagde vi et digitalt seminar. Interessen for det eksploderte helt. Vi planla det egentlig for et lite norsk miljø, men så var vi så tidlig ute at det kom 700 folk fra hele verden. Vi installerte AlphaFold 2 på regneanlegget til Universitetet i Oslo og kunne vise proteiner som verden ikke hadde sett før.
Noe av det aller viktigste framover handler om hvordan KI påvirker samfunnet vårt.
– Jeg tror vi er i begynnelsen av det vi i ettertid vil kalle en industriell revolusjon.
Mye av arbeidslivet og samfunnet vil endres de neste 20–30 årene. Da er det viktig å være forberedt på det, og gjøre forskning på samfunnskonsekvensene.
Ikke minst hvis vi får algoritmer som er smartere enn mennesker på de fleste områder, og som kan operere som frie agenter på nettet, eller som roboter, kanskje, så må vi åpenbart tenke nøye gjennom hvordan vi gjør det og finne ut hvordan vi kan lage sikker kunstig intelligens.
Artikkelen ble først publisert på Titan.uio.no.
KI gjør det mulig å lære roboter nye triks
