Strålebehandling eller kjemoterapi? IBMs kunstige intelligens Watson har blitt invitert inn på kreftavdelinger over hele verden for å gi forslag til behandlinger. Men svarene fra Watson får ikke alle leger til å juble. På Rigshospitalet i København har senterdirektør Leif Panduro Jensen opplevd at AI-doktoren foreslår preparater som risikerer å drepe pasienten.
Les også: Skuffet over at norsk helsevesen ikke vil ha Watson
«Vi har for eksempel opplevd at Watson har foreslått en behandling med stoffer som pasienten aldri mer skulle ta i sitt liv, fordi det var livsfarlig,» heter det.
På Finsenscentret på Rigshospitalet har en gruppe leger nylig gjennomført forsøk med Watson der datamaskinen skulle foreslå behandlinger på tre kreftområder: bryst-, lunge- og tykktarmskreft. Legene testet Watsons svar på 31 pasienter som allerede hadde vært under behandling, og i to tredeler av tilfellene var Watson og legene noenlunde enige om valget av behandling.
Men i en tredel av tilfellene var Watsons forslag «helt borti veggene», som Leif Panduro Jensen uttrykker det. I et tilfelle foreslo Watson trestoff-kjemoterapikuren FOLFOX til en pasient som der allerede hadde fått 11 serier FOLFOX og viste bedring, men hadde skader på nervebanene.
Finsenscentret samarbeider ikke lengre med IBM på dette området, men de danske legene har likevel ikke gitt opp Watson, og samarbeider med IBM på andre områder. Region H har også inngått en femårig rammeavtale med IBM om å fortsette med å utforske Watson-teknologien.
– Egentlig er jeg helt overbevist om at Watson eller andre AI-systemer er framtiden på området, men vi er slett ikke kommet dit hvor den kan hjelpe oss med å velge behandling på et svært høyt spesialistnivå. Slett ikke, sier Leif Panduro Jensen.
I evalueringsrapporten 'Kunstig intelligens og innovasjon i helsevesenet' utarbeidet av IBM og Region H, kan man også lese lignende klare konklusjoner: «Watson for Oncology er ennå ikke fullt utviklet, og det kan oppstå feil», og «Watson for Oncology er ikke trenet til å håndtere komplekse behandlingsforløp for eksempel over flere år».
Watson blir slaktet av kritikere
Samme melding kom også nylig fra et hav av leger verden over på det anerkjente amerikanske helsenettstedet Stat, som eies av avisen Boston Globe.
I en usedvanlig grundig artikkel har journalistene blant annet intervjuet leger på en stor del av de 50 sykehusene i 13 land som i dag bruker Watsons kreftprogram, Watson Oncology, til daglig. Og det kommer fram et veldig klart mønster av en umoden teknologi.
«Watson Oncology er på barnestadiet, og vi må vente og aktivt engasjere oss i håp om å hjelpe den med å vokse opp,» sier en sørkoreansk kreftspesialist ved navn Taewoo Kang til Stat.
Les også: – Norsk helsevesen er interessert i Watson (Ekstra)
Watsons styrke er å søke i dokumenter og hjelpe til med å finne bakgrunns-informasjon til legene. Til det fungerer den veldig bra
Hvis man legger sammen utsagnene i Stat, er kritikken nådeløs. Watson Oncology skaper ingen ny viten, den har vansker med å lese og forstå journaler, den er ikke underlagt offentlig regulering eller kvalitetskontroll, den er ikke underlagt en kritisk vurdering av kvaliteten (peer-review), resultatene dens er lite transparente, og den er ikke godt nok oppdatert med den siste kunnskapen på området.
– Watsons styrke er å søke i dokumenter og hjelpe til med å finne bakgrunnsinformasjon til legene. Til det fungerer den veldig bra. Men så snart den skal i gang med å titte i pasientjournaler og gi forslag, går det mindre bra, sier Lars Kai Hansen fra DTU Compute, som har jobbet med kunstig intelligens på det medisinske feltet i 30 år.
Watson er for amerikansk
DTU-forskeren peker på et problem som også en rekke ikke-amerikanske leger peker på, nemlig at Watson er altfor preget av en amerikansk tilnærming til kreftbehandling. En vanlig feiloppfatning blant leger er nemlig at Watson Oncology trekker på erfaringer fra hele verden når den kommer med forslag til behandlinger.
Men her er det nødvendig å forstå følgende: Watsons erfaringer med pasienter stammer bare fra kreftsenteret Memorial Sloan Kettering i New York. Det er her Watson blir trent opp i sesjoner der de dyktigste legene fra sykehuset setter seg ned sammen med folk fra IBM, og dytter data inn i Watson ved å fortelle hvordan de ville behandlet pasient x i et x-scenario. Den erfaringen kobler Watson med sin evne til å lese gjennom forskningsartikler, og igjen er det kreftspesialistene på Memorial Sloan Kettering som velger ut hvilke artikler Watson skal lese, og hvilke datamaskinen skal legge mest vekt på. Da Watson Oncology ble testet på Rigshospitalet, var den i et sent prototypstadium og var basert på mer enn 17 000 onkologitimer, framgår det av en evalueringsrapport fra Region H.
Vi har foreslått overfor IBM å gi Watson løpende adgang til de nyeste europeiske retningslinjene, og teste systemet igjen på pasientene våre
– Vi tror, at den høye graden av amerikansk dominans i Watson er årsaken til at vi opplever så store feilmarginer i arbeidet med den, sier Leif Panduro Jensen.
USA og Europa har nemlig ikke alltid samme tilgang til anbefalinger og god praksis. Og Watson har også bare adgang til amerikanske data, og ikke til de europeiske retningslinjene på området. Og det er veldig synd, mener den danske senterdirektøren.
– Vi har foreslått overfor IBM å gi Watson løpende adgang til de nyeste europeiske retningslinjene, og teste systemet igjen på pasientene våre. Men det passet ikke inn i utviklingsplanene deres på det tidspunktet, sier han.
Legene vil vite det de ikke vet
Til gjengjeld ser Watson ut til å klare seg markant bedre i kreftavdelinger som ligner mer på de amerikanske. I India og Sørøst-Asia er de begeistret for at Watson sparer tid og øker kvaliteten av behandlingen. I noen land er det 96 prosent overensstemmelse mellom Watsons valg av behandling og legenes valg. Men det viser jo bare at Watson kan tilby det samme som legene, sier kritikerne.
– Vi trenger jo ikke å vite at det vi allerede vet er riktig. Verdien må ligge i at Watson kan foreslå behandlinger for oss når vi har prøvd alt, og pasienten stadig har det så bra at det ikke er noen mening i å gi opp, sier Leif Panduro Jensen.
Men ifølge senterdirektøren er det en svært lang vei fram til det scenariet.
– Det krever et langt juridisk og teknologisk skritt, der Watson også kan få utstrakt adgang til internasjonale databaser, sier han.
... men hvorfor kom du fram til det svaret, Watson?
Og i tillegg er det en utfordring med transparens. Watson er god til å gi leger og forskere innsikt i hvordan den har kommet fram til konklusjoner basert på forskningsartikler. Her kan ekspertene gå direkte inn og lese bakgrunnsartiklene som ligger til grunn for beslutningene til Watson. Det er også noe som forøvrig kan vise seg å gi Watson en rolle i undervisningssammenheng, påpeker flere leger.
Det er også utmerket i forskningsøyemed, hvis Watson blir bedt om å finne opplagte kandidater til medisinske forsøk. Men når det gjelder Watsons forslag til behandlinger basert på data om pasienter, så er informasjonen lukket.
Hvis man skal bruke dette skikkelig i helsesektoren, må man kjenne systemet bit for bit. Det har IBM ikke gitt oss mulighet til ennå
I artikkelen i Stat forteller for eksempel en sørkoreansk kreftkirurg, Taewoo Kang, hvordan Watson anbefaler en kjemokur ved navn taxan til en bestemt pasient. Legen undrer seg over valget til Watsons, siden taxan vanligvis bare gis til pasienter med lymfeknutekreft. Og pasienten har ikke kreft som har spredt seg til lymfeknutene. Hvorvidt Watson har rett eller ikke, er ikke poenget. Problemet er at Taewoo Kang ikke kan få et svar på hvorfor Watson har gjort dette valget.
Den samme utfordringen har Lars Kai Hansen i sitt arbeid med Watson:
– Vi kan fremdeles ikke komme helt inn i programmet og forstå hvordan Watson arbeider. Hvis man skal bruke dette skikkelig i helsesektoren, må man kjenne systemet bit for bit. Det har IBM ikke gitt oss mulighet til ennå, sier han.
Bruk Watson andre steder
Innebærer det at Watson er helt udugelig, og slett ikke kan brukes til noe? Nei, er det klare svaret fra både Leif Panduro Jensen og Lars Kai Hansen. Ifølge begge er Watson fremdeles under utvikling, og det finnes en rekke andre bruksmuligheter som er mer innlysende i første omgang.
Senterdirektøren peker blant annet på bruk av Watson til at å gå gjennom røntgenbilder eller skanninger etter brystkreft, og den anbefalingen kom også fram i en rapport til Region Hovedstaden i København i mars.
Rapporten fremhever flere punkter som Watson-teknologien opplagt kan brukes til. For eksempel:
«Watson for Oncology vil kunne brukes som second opinion hvis onkologen er i tvil om beste behandling eller ønsker å utfordre sin egen vurdering,» står det.
Les også: IBM Watson skal diagnostisere sjeldne sykdommer (ing.dk)
Artikkelen ble først publisert på Ingeniøren og version2.dk
