Spanske og italienske datatilsyn har sammen gått gjennom flere store matleveringstjenesters oppfyllelse av kravene i GDPR, melder Govinfosecurity.com.
– Undersøkelsene har vist mange og alvorlige brudd på europeiske og nasjonale personvernregler, skriver Garante, det italienske datatilsynet, på sine nettsider.
Diskriminerende algoritmer, ulovlig lagring av persondata og innsamling av mer persondata enn nødvendig er bare noen av funnene.
I juli fikk Foodinhos eier Glovo-gruppen sin bot på 2,6 millioner euro, og mandag forrige uke kom boten på 2,5 millioner euro til Deliveroo.
Diskriminerende algoritme
De til sammen 27.000 sykkelbudene som leverte mat til sultne Italienere på oppdrag fra Deliveroo og Foodinho, ble ifølge Garante belønnet og straffet basert på hvordan hemmelige algoritmer vurderte arbeidet deres.
Hvor lang tid det tok før en ordre ble bekreftet, om budet tok den beste ruten gjennom byen og om maten ble levert i tide, telefonlogger og tilbakemeldinger fra kunder blir brukt i automatiske evalueringer av budene. Disse evalueringene brukes til å bestemme hvilke bud som får det neste oppdraget og kan i verste fall utestenge enkelte ansatte.
I seg selv kanskje ikke problematisk – men algoritmene var hemmelige, og ansatte hadde ingen mulighet til å klage på algoritmens dom.
Det italienske datatilsynet svarte med bøter og krav om endringer i algoritmer og rutiner. Garante krever a selskapene sikrer de ansattes rett til å uttrykke eget synspunkt, klage på beslutningen tatt av algoritmen og ikke minst retten til å kreve at et menneske skal være en del av viktige beslutninger.
Ikke alltid ulovlig
GDPR regulerer automatiske beslutninger som påvirker enkeltmennesker, inkludert såkalt profilering, og beskytter mot avgjørelser som utelukkende er basert på automatisert behandling.
Det betyr likevel ikke at bruk av algoritmer for fordeling av oppdrag alltid er ulovlig.
– For at automatiserte avgjørelser og profilering basert på algoritmer skal være lovlig, er det en forutsetning at det foreligger et lovlig, rettslig grunnlag i personvernforordningen og at algoritmen er utviklet på en rettferdig måte som gir utslag i korrekte resultater, skriver juridisk rådgiver Sindre Dyrhovden i Datatilsynet på e-post til Digi.no.
Videre må bruken være transparent. Ansatte som styres gjennom algoritmer, må ha innsyn i hvordan algoritmen brukes, hvilke data den bruker og hvordan den er treffer avgjørelser.
– Det skal i tillegg som et minimum inkluderes en rett for den registrerte til å kreve menneskelig inngripen, til å få en forklaring på avgjørelsen som er truffet og til å gi uttrykk for sitt syn og til å motsette seg avgjørelsen, skriver Dyrhovden videre.
Følger utviklingen nøye
Kunstig intelligens tas i økende grad i bruk både av private og offentlige aktører. Det kan gi etiske og personvernmessige utfordringer
– Datatilsynet følger nøye med på denne utviklingen, og vi har i den forbindelse blant annet etablert en regulatorisk sandkasse for ansvarlig kunstig intelligens, skriver Dyrhovden.
Sandkassen skal hjelpe aktører til å ta i bruk kunstig intelligens på en etisk og forsvarlig måte. .
Basert på erfaringene som opparbeides i sandkassen, vil Datatilsynet lage eksempler og veiledningsmateriell som er til nytte for alle som ønsker å utvikle etisk og ansvarlig kunstig intelligens, skriver Datatilsynet på sine nettsider.
Blir Amazon-sjåfører oppsagt av en datamaskin?