KUNSTIG INTELLIGENS

UiT-forskere peker på tre løsninger for mindre skjev KI 

Kunstig intelligens treffer dårligere på kvinner enn menn. Skjevhet i dataene er hovedutfordringen, mener Suaiba Salahuddin, som peker på tre forbedringsmuligheter.

Srishti Gautam har utviklet nye KI-metoder som kan bidra til å gjøre KI-teknologi mindre utsatt for å tilegne seg og bruke mulige skjevheter.
Srishti Gautam har utviklet nye KI-metoder som kan bidra til å gjøre KI-teknologi mindre utsatt for å tilegne seg og bruke mulige skjevheter. Foto: Petter Bjørklund/UiT
Petter Bjørklund, UiT Norges arktiske universitet
31. mars 2024 - 12:00

Seksjonen Fra forskning består av saker som er skrevet av ansatte i Sintef, NTNU, Universitetet i Oslo, Oslo Met, Universitetet i Agder, UiT Norges arktiske universitet, Universitetet i Sørøst-Norge og NMBU.

Det er ingen tvil om at kunstig intelligens (KI) fortsetter å vise stort potensial til å støtte oss på ulike områder, for eksempel med å gi raskere medisinsk behandling eller å effektivisere tidkrevende oppgaver på arbeidsplassen.

For at KI-teknologi skal være til hjelp for samfunnet, er det imidlertid viktig at den fungerer godt for alle, uavhengig av kjønn, etnisitet og seksuell legning. Dessverre er dette et aspekt hvor teknologien til tider henger etter.

– Historisk sett har slike modeller ofte fungert dårligere på kvinner, sier doktorgradskandidat Suaiba Salahuddin.

Sammen med doktorgradskandidat Srishti Gautam og førsteamanuensis Elisabeth Wetzer er Salahuddin en del av forskningsgruppen for maskinlæring ved UiT Norges arktiske universitet og Visual Intelligence (senteret for forskningsdrevet innovasjon).

Forskerne bruker det KI-baserte ansettelsesverktøyet til Amazon som eksempel. Verktøyet som skulle effektivisere ansettelser i firmaet, viste seg raskt å favorisere søknader skrevet av menn.

Store forskningsprosjekt som «Gender Shades» har også funnet at ansiktsgjenkjenningsverktøy fra tek-giganter som Microsoft, IBM og Face++ kjenner igjen færre kvinnelige ansikter enn mannlige.

Dette kan svekke folks tillit til teknologien.

– Det kan også hindre at ulike former for KI-system tas i bruk, forteller Gautam.

Skjevheter i data

Hvordan en KI velger å oppføre seg, avhenger av de store mengdene data – i form av bilder, video eller tekst – man trener den med. Datasettet KI-en bruker til å finne sammenhenger og mønstre, er til enhver tid festet i hjernebarken når den skal utføre en gitt oppgave.

Slike «stordata» kan representere forskjellige enkeltgrupper, eksempelvis personer av ulikt kjønn eller hudfarge. Hvilke grupper som er representert i treningsdataene, samt i hvilken grad, har mye å si for hvem KI-en fungerer bedre eller dårligere på, forteller forskerne.

– Valg av treningsdata og hvordan disse ble samlet inn, kan føre til at enkelte grupper blir over- eller underrepresentert. Dersom dataene kun inkluderer personer av ett kjønn, vil ikke modellen fungere like godt på et annet kjønn, forteller Salahuddin.

Srishti Gautam har utviklet nye KI-metoder som kan bidra til å gjøre KI-teknologi mindre utsatt for å tilegne seg og bruke mulige skjevheter. <i>Foto:  Petter Bjørklund/UiT</i>
Srishti Gautam har utviklet nye KI-metoder som kan bidra til å gjøre KI-teknologi mindre utsatt for å tilegne seg og bruke mulige skjevheter. Foto:  Petter Bjørklund/UiT

Data er også «historiske», som betyr at de gjenspeiler virkeligheten i tiden de er hentet fra. De kan gjerne være flere tiår gamle og med det gjenspeile kjønnsmessige «skjevheter».

Historiske data som lønnsstatistikk kan eksempelvis vise at kvinner i snitt har lavere inntekt enn menn. Trenes en KI-modell med dette, kan den fort tro at hva man tjener henger sammen med hvilket kjønn man har – og bruke denne skjevheten til å avgjøre hvem som skal få innvilget søknad om lån eller ikke.

– Med slike data vil programmet sannsynligvis avslå flere søknader fra kvinner enn menn, sier Wetzer.

Derfor er det en viktig regel at KI utvikles slik at det ikke legges vekt på trekk som kjønn. Likevel er programmene flinke på å fange opp kjønnsmessige faktorer som en utvikler kanskje ikke ante fantes i dataene.

– KI-verktøyet til Amazon lærte seg blant annet å filtrere vekk søknader som nevnte universiteter som ofte er forbundet med kvinner, forteller Salahuddin.

KI-ingeniører som jobber i de ledende selskapene har en hard arbeidshverdag, kan CNBC nå avdekke.
Les også

Rapport: KI-ingeniører i de ledende selskapene avslører ekstremt press og «rotterace»

1. Begrunnede valg

En annen utfordring med kunstig intelligens er at slike programmer ofte ikke forklarer hvorfor de tar den avgjørelsen de gjør og dermed kan fremstå som uforklarlige «sorte bokser».

Siden KI-data er store, komplekse og kan inneholde skjevheter man kanskje ikke har tenkt over, kan denne «uforklarbarheten» gjøre det utfordrende for utviklere å forstå hvorfor et KI-program velger å behandle kjønn ulikt, og også å gjøre nødvendige korrigeringer i programvaren.

Et viktig mål er derfor å utvikle KI-modeller som nettopp kan grunngi valgene sine, noe forskere ved UiT aktivt driver med for å kunne bekjempe skjevhetsproblemet innen feltet.

Dette har Gautam undersøkt i sin doktorgradsavhandling «Towards Interpretable, Trustworthy and Reliable AI». Som tittelen hinter til, har hun utviklet nye former for KI-metodikk som kan bidra til å gjøre teknologien mindre utsatt for skjevheter.

Blant disse er den såkalte «KMEx-metoden»: en metode som kan få de ofte stumme «sort boksene» til å «forklare» hva de har lagt vekt på når de utfører oppgaven sin – uten å trene opp programmet på nytt.

Forklarer KI-programmet avgjørelsene sine, for eksempel hvorfor den gir ulike resultater for kvinner og menn, blir det lettere for utviklere å forstå hva KI-en fokuserer på i dataene.

– Selvforklarende modeller kan bidra til å styrke sikkerheten når viktige og kritiske beslutninger skal tas. Dersom en KI-modell eksempelvis kan forklare hvorfor den avslo en jobbsøknad, blir det lettere å avdekke, håndtere og rette opp i mulige skjevheter, påpeker Gautam.

Resultater fra avhandlingen, der «KMEx» ble testet på sju ulike sett med bildedata, viser at metoden kan være et lovende verktøy for å få modellene til å forklare avgjørelsene sine.

– Marginaliserte og underrepresenterte grupper vil kunne dra nytte av slike initativ som kan bidra til å redusere skjevheter i KI, forteller hun videre.

2. Mer mangfold

Men skjevhetsproblemet omfatter mer enn bare data, nevner forskerne. 70 prosent av de som jobber med utvikling av KI globalt, er menn.

KI-programmer som utvikles av en spesifikk gruppe, risikerer ofte å glemme å ta andre gruppers, eksempelvis minoriteters, syn på og erfaringer med teknologien i betraktning. Slike KI-løsninger vil da være basert på hvordan enkeltgruppen forstår, opplever og fortolker verden.

– Modeller som utvikles av en homogen gruppe, er da mer utsatt for å arve og forsterke eksisterende skjevheter, nevner Gautam.

– Hvis man ikke inkluderer mangfoldige perspektiv og synspunkt i prosessen, er det lite sannsynlig at man vil oppnå KI-system uten skjevheter, legger Salahuddin til.

Med andre ord er det viktig at forskningsfeltet gjenspeiler mangfoldet i befolkningen. Økt fokus på mangfold og inkludering av KI-forskere av ulikt kjønn, etnisitet og seksuell legning er dermed sentralt for å skape rettferdige og inkluderende KI-løsninger.

– Feltet trenger så mange perspektiv som mulig, slik at alle stemmer blir hørt, sier Wetzer.

Det krever imidlertid en rekke tiltak for å sikre en mer inklusiv agenda innen feltet.

– Vi trenger rollemodeller. Få mangfoldige rollemodeller innen feltet bidrar til lite mangfold blant studenter, forskere og fagfolk. Vi må kaste lys over ledende figurer med ulik bakgrunn som unge kan identifisere seg med og la seg inspireres og motiveres av, sier Wetzer.

– Andre tiltak kan være å etablere utdanningsprogram som oppmuntrer til mangfold innen feltet fra tidlig alder, aktiv rekruttering av folk med ulik bakgrunn, samt å fremme et inkluderende arbeidsmiljø hvor alle ansatte kan blomstre, nevner Salahuddin.

3. Regulering

KI-teknologi utvikler seg også svært raskt, noe som har bidratt til mye snakk om hvordan utvikling av teknologien skal og bør reguleres. For tiden finnes det ikke en egen norsk KI-lov.

Men EU-landene arbeider på spreng med å utarbeide et slikt lovverk, som vil ha stor betydning for hvordan regulering av KI i Norge vil bli. Hvilke retningslinjer som innføres, vil være et viktig ledd for å motvirke at framtidige KI-løsninger velger å behandle kjønn ulikt, noe forskerne tar imot med åpne armer.

– Det er nødvendig å innføre reguleringer som sikrer at KI-teknologi utvikles i samsvar med etiske og inkluderende retningslinjer, sier Gautam.

Artikkelen ble først publisert på UiTs nettsider

De nyopprettede fagdirektørstillingene vil har arbeidssted her i Glacisgata 1 på Akershus festning i Oslo.
Les også

Søkerlisten til Forsvarets IT-toppjobber klar: – Nytt at så mange kommer fra privat sektor

Del
Kommentarer:
Du kan kommentere under fullt navn eller med kallenavn. Bruk BankID for automatisk oppretting av brukerkonto.
Tekjobb
Se flere jobber
Jobbsøknad: Slik skiller du deg ut i den store bunken
Les mer
Jobbsøknad: Slik skiller du deg ut i den store bunken
Tekjobb
Få annonsen din her og nå frem til de beste kandidatene
Lag en bedriftsprofil
En tjeneste fra