Et av områdene hvor moderne, generativ KI har funnet sin plass, er innen programmering, hvor teknologien har blitt hyllet av mange i bransjen som et effektivt hjelpemiddel. Nå har det dukket opp en ny rapport som gjør bildet litt mer sammensatt.
Selskapet Uplevel Data Labs, som tilbyr plattformer for å øke produktiviteten innen programmering, utarbeidet nylig en studie som indikerer at KI-assistenter faktisk har svært begrenset effekt på effektiviteten til programvareingeniører.
Nettstedet CIO har skrevet om saken.
Ingen markante fordeler
Studien er basert på data innhentet fra 800 utviklere som bruker Github Copilot, et skybasert KI-verktøy designet for å bistå utviklere med å skrive kode. Tjenesten er laget i samarbeid med Open AI.
Undersøkelsen sammenligner kvantitative data fra før og etter at utviklerne begynte å bruke Github Copilot, for å finne forskjellene i resultat på bakgrunn av ulike nøkkelindikatorer.
Studien konkluderte med at effektivitets- og kvalitetsforskjellene var små, og KI-assistenter kan også bidra til nye problemer. For eksempel kom studien frem at KI-assistentene i snitt introduserte 41 prosent flere feil (bugs) i koden enn før verktøyet ble tatt i bruk.
Når det gjaldt utbrenthet, et annet fenomen mange mener KI bidrar til å avhjelpe, ble det heller ikke funnet bevis på at teknologien har store fordeler.
Uplevel fant at tiden som utviklerne arbeidet utenom vanlig arbeidstid, ikke ble redusert av å bruke Github Copilot-verktøyet. Snarere kom det frem at overtidsbruken var lavere når utviklerne ikke brukte Copilot.
Reduserte ikke PR-syklustiden
En av nøkkelindikatorene studien tok for seg, er såkalt PR-syklustid (pull request cycle time), som i korte trekk måler tiden det tar fra å foreslå endringer til de er gjennomgått, godkjent og til slutt integrert i hovedkodebasen.
PR-syklustid regnes som en av de viktigste indikatorene når det gjelder effektivitet og kvalitet innen programmering, og på dette området fant studien heller ingen betydelige fordeler ved å bruke KI-assistenter.
– Hypotesen til teamet vårt var at vi trodde at PR-syklustiden ville bli redusert. Vi trodde at de ville kunne skrive mer kode, og vi trodde faktisk at feilraten kunne gå ned fordi man bruker disse generative KI-verktøyene til å hjelpe til med å gjennomgå koden før man i det hele tatt får den ut dit, sier analytiker Matt Hoffman i Uplevel .
Gehtsoft USA, en bedrift som spesialiserer seg på skreddersydd programvareutvikling, underbygget noen av funnene i rapporten og har selv funnet små effektivitetsgevinster av å bruke KI.
Mange ser store fordeler
– Det blir stadig mer utfordrende å forstå og feilsøke KI-generert kode, og feilsøking blir så ressurskrevende at det er lettere å skrive koden fra bunnen av enn å fikse den, sier Ivan Gekht, som er sjef i Gehtsoft USA, .
Mange har selvsagt en helt annen opplevelse. En GitHub Copilot-representant som Uplevel har vært i kontakt med, viste til en undersøkelse hvor det kommer frem at KI-assistenten har ført til at kode i snitt skrives 55 prosent raskere enn før, og 85 prosent av utviklerne følte de hadde større tillit til kvaliteten på koden enn tidligere.
Som Digi tidligere har skrevet, har KI-bruken også generelt eksplodert blant utviklere, og da særlig innen generering av kode. En undersøkelse gjennomført av Gitlab blant over 5000 Devops-utviklere over hele verden, viste at 78 prosent benytter seg av kunstig intelligens til programvareutvikling, og 67 prosent oppga at utviklingssyklusen deres nå er enten helt eller nesten helt automatisert.
Github Copilot skriver usikker kode i 40 prosent av tilfellene
