SKYTJENESTER

Amazon lanserer sensurverktøy

Åpner for å stoppe meldinger hvis de inneholder banneord – eller det systemet tror er banneord.

Jeg banner ikke, æresord!
Jeg banner ikke, æresord! Foto: Colourbox
23. okt. 2021 - 19:00

Amazon Chime er et system som lar utviklere legge ulike kommunikasjonskanaler til sine eksisterende applikasjoner, det være seg for web eller mobiltelefoner. Kommunikasjonen kan være via lyd, video, skjermdeling, eller tekstbasert «chat» – alt sammen i sanntid.

So far so good, men nå har Amazon ifølge The Register også lagt til muligheten for å sensurere tekstprat i slike kanaler, også det i sanntid. Kort fortalt vil løsningen analysere hva som skrives og stoppe meldingen fra å bli sendt videre til mottakeren, møterommet eller hvor den nå skal, hvis den inneholder visse ord.

De fleste tidligere løsninger for slikt har etter sigende vært implementert slik at banneord og lignende mottas i den andre enden og fjernes eller skjules først når det har kommet frem dit.

Ikke bare for banning

Amazon kaller dette for «messaging channel flows», og teknologien har en del bruksområder som helt klart kan være nyttige også for brukere som ikke er så opptatt av å unngå banning:

For eksempel kan man ved hjelp av dette sikre at visse typer sensitive data ikke engang blir videresendt til en sentral server, selv om brukeren oppgir det. Dette kan være nyttig for eksempel for Helsenorge og en rekke andre aktører som kommuniserer med publikum på måter der personinformasjon kan bli oppgitt ved en glipp fra brukeren.

Dessverre er det også et stort potensial for negative konsekvenser av denne teknologien. For eksempel fungerer den slik at meldingen ikke sendes i det hele tatt hvis systemet har reagert på ett eller flere ord. Dermed kan man risikere at brukeren tror meldingen er sendt, uten at den er det. Eller at systemet reagerer på et ord som egentlig er helt uskyldig.

Store muligheter for feil

Et annet kjent problem ved slike løsninger er at de ofte er lite fleksible og til tider svært unøyaktige. Eksempelet der Facebook i en lang periode sensurerte Kjerringøy fordi ordet «kjerring» var definert som ufint, er velkjent.

Mye det samme skjedde med den franske byen Ville de Bitche, og du kan selv tenke deg hvilke problemer landsbyen Fucking i Østerrike har opplevd.

Hvordan den nye Amazon-funksjonaliteten kan finne på å påvirke norske steder som Hell, Møkkalasset, Rompeporten, Skrukkefylla, Faenshølet, Ræva, Kukkeluren, Fettavika, Spermbanken, Runken eller Tissvassklumptjønnin, er ennå uvisst.

I Storbritannia kan steder som Penistone, Shitlingthorpe, Titty Ho, Twatt, Wetwang og Bitchfield komme til å få problemer.

Amazon Comprehend

Det hører med til historien at Amazon har et system som kalles Comprehend, det baseres på maskinlæring og ikke bare direkte gjenkjenning av navn.

Comprehend kan inngå i «messaging channel flows» og læres opp til å forstå sammenhenger og gjenkjenne referanser. Det er for eksempel slik systemer kan finne personnumre og stoppe videresending av dem, eller oppdage at en ansatt på kundestøtte refererer til en hjelpeside som systemet da automatisk kan sette inn en lenke til.

Comprehend kan også brukes til å gjenkjenne og hindre banneord, men det er ikke satt opp til å gjøre det som standard, og ifølge Amazon må kunden selv trene opp Comprehend for slik bruk, dersom det er ønsket.

Banne-sensuren er derimot ganske enkelt en liste over «forbudte ord» og dermed en ikke spesielt smart løsning på noe som helst vis. Det er tydelig at fokuset her ligger på ressurssparing fremfor en nøyaktig og presis løsning.

Del
Kommentarer:
Du kan kommentere under fullt navn eller med kallenavn. Bruk BankID for automatisk oppretting av brukerkonto.