Microsoft-eide GitHub hevder at deres KI-verktøy Copilot forbedrer kodekvaliteten ved å produsere mer funksjonell, lesbar og pålitelig kode. Disse påstandene har blitt kritisert av programvareutvikler Dan Cîmpianu, som mener GitHubs data og metode ikke holder mål.

Studien, som involverte 243 erfarne Python-utviklere, viste blant annet at Copilot-brukere hadde større sannsynlighet for å bestå enhetstester og skrev mer feilfri kode.

Cîmpianu mener imidlertid at oppgaven, en enkel CRUD-applikasjon, var for lett og sannsynligvis inkludert i Copilots treningsdata.  

Cîmpianu peker også på mangler i presentasjonen av studiens data, inkludert uklarheter rundt suksessrater og antall deltakere som vurderte koden. Han utfordrer videre påstandene om færre kodefeil, da disse primært gjaldt stilfeil og ikke funksjonelle problemer. Påstander om 1–3 prosent økt lesbarhet og vedlikeholdbarhet beskrives som subjektive og basert på vurderinger fra utviklerne som selv deltok i studien, noe han mener svekker troverdigheten.  

Tidligere rapporter har også satt spørsmålstegn ved Copilots innvirkning på kodekvalitet. En studie fra 2023 fant at Copilot reduserte kvaliteten, mens andre forskere har vist at AI-verktøy generelt kan generere feil og «code smells».

GitHub har avslått å kommentere Cîmpianus kritikk overfor The Register.

Kilde: The Register