Bilen som konsept er på ingen måte ferdig utviklet. Det er fortsatt mye som kan forbedres – og som det blir mulig å forbedre etter hvert som ny teknologi introduseres.
Hos Volkswagen i Tyskland mener forskere at utvidet eller blandet virkelighet (AR eller MR – Augmentet eller Mixed Reality) vil være blant de viktigste komponentene i framtidige mobilitetskonsepter.
– Vi mener blandet virkelighetsinformasjon er den mest intuitive informasjonen vi kan tilby for å forbedre brukeropplevelsen til kundene våre, sier Andro Kleen, leder for datavitenskapsteamet hos Volkswagen Group Innovation i et blogginnlegg publisert av Microsoft.
– Det du ser der, og det du må prosessere, er veldig nær det mennesker normalt ser og prosesserer, så det er ikke så abstrakt, forteller Kleen.
Noen trinn opp fra dagens HUD
I likhet med mange andre har Volkswagen en stund utstyrt biler med head-up display (HUD), som projiserer nøkkelinformasjon på frontruten til bilen, innenfor synsfeltet til bilføreren. Da slipper bilføreren å senke blikket ned til dashbordet for få se for eksempel farten eller retningsinstruksjoner.
For noen år siden ønsket Volkswagen å ta i bruk Microsofts MR-briller, Hololens, i forbindelse med et forskningsprosjekt, men dette fungerte svært dårlig. Brillene mistet grepet om bevegelsene, og hologrammene som normalt skulle vises, forsvant.
I 2018 begynte forskerne hos Volkswagen å samarbeide med Microsofts Mixed Reality and AI Lab i Sveits. Det viste seg da hva som var problemet.
Ble «bilsyk»
Hololens 2, den hittil nyeste utgaven av Hololens, bruker primært to sensorer for å måle bevegelse – kameraer som registrerer synlig lys og en IMU (Inertial Measurement Unit), som måler akselerasjon og rotasjonshastighet.
Problemet er at kombinasjonen av disse sensorene er ment å registrere hvordan et menneske beveger seg. I et kjøretøy sanses dette annerledes. Microsoft sammenligner det med bil- eller sjøsyke.
Hovedårsaken er at IMU-en registrerte bevegelsene, mens kameraene ikke var i stand til dette. Da brøt det hele sammen.
Utfordrende testing
Mixed Reality and AI Lab har derfor måttet utvikle en algoritme som modellerer uoverensstemmelsene mellom sensorene, noe som gjør at Hololens kan fortsette sporingen. Testing av dette i personbiler ble begrenset på grunn av Covid-19-restriksjonene i Sveits, så en av senioringeniørene i prosjektet, Joshua Elsdon, skal ha tatt mye buss, trikk og heis i Zürich for å teste teknologien. Mye annet ble testet hjemme i leiligheten hans.
Senere ble systemet testet om bord i noen innleide småbåter nær Microsofts hovedkontor i Redmond, Washington, før det var klart for testing sammen med Volkswagen. Inkludert var en toveis dataforbindelse mellom bilen og brillene.
– Koblet til et posisjoneringssystem som sporer posisjonen til kjøretøyet. På den måten kunne vi også plassere 3D-elementer, slik som interessepunkter, på utsiden av bilen. Dette åpner opp for fullstendig nye muligheter, ved ikke bare å vise hologrammer i førerens fremoverrettede synsfelt, men også alle andre steder hvor brukeren av brillene så, forteller Michael Wittkämper, en spesialist på utvidet virkelighet i Volkswagen.
Ikke for forbrukere helt ennå
Microsoft lanserte for noen måneder siden det selskapet kaller for «moving platform mode» for Hololens 2, i første omgang beregnet for store skip. Men selskapet planlegger å videreutvikle teknologien for bruk i heiser, tog, biler og andre bevegelige omgivelser.
Nå er nok ikke tanken egentlig at bilister skal ha på seg relativt store og kostbare Hololens-briller når de kjører bil. Men teknologien kan bli aktuell dersom det kommer mindre og billigere versjoner i framtiden.
– Microsoft er ikke bare interessert i kommersielle enheter som Hololens, men på lengre sikt også i enheter som gir mer mening for forbrukere i dagliglivet, sier Marc Pollefeys, som er direktør for Microsofts Mixed Reality and AI Lab i Zürich.
–Med AR-briller kan du gå rundt i verden, og så kan informasjon dukke opp i kontekst, der hvor den er relevant. Du kan kommunisere med andre mennesker, også i 3D, i motsetning til det som er mulig på en liten skjerm, sier Pollefeys.
