Facebook arrangerte denne uken selskapets årlige utviklerkonferanse, F8, i San Jose, California. Svært mye av den to dager lange konferansen handlet om virtuelle eller utvidet virkelighet (VR og AR). Facebook eier som kjent Oculus VR, og selskapet ønsker nå tydelige å putte mer ressurser bak denne typen teknologi, som fortsatt er svært umoden.
Som i 1971
Under hovedtalen i går sa sjefforsker Michael Abrash hos Oculus Research at AR-briller vil en av teknologiene som virkelig vil forvandle verden de neste 50 årene. Men han er forsiktig i spådommene sine og sa at vi først om 20-30 år vil vi alle gå rundt med stilige brikker i stedet for stilige smartmobiler. Disse brillene vil tilby både VR, AR og alt som befinner seg mellom dette.
Men han mener at vi fortsatt mangler mye av teknologien som skal til, og at vi på veien mot full AR er på det samme stadiet som pc-en var i 1971, da komponentene så smått hadde begynt å bli samlet hos Xerox PARC.
En del av utfordringen er hvordan vi bedre skal kunne kommunisere med teknologien. For dagens metoder har alle svært lav båndbredde.
Framtidsvisjoner
Regina Dugan, tidligere sjef for DARPA og senere Google ATAP, leder nå Facebooks relativt hemmelighetsfulle Building 8-forskningsgruppe. Under hovedtalen sa hun at hjernen har menneskehjernen selv på en dårlig dag, før man har fått morgenens første kaffe, er i stand til å produsere en datamengde på 100 megabit per sekund, noe som tilsvarer strømming av fire HD-filmer samtidig. Normalt vil kapasiteten være opptil ti ganger høyere.
– Her ligger problemet. Hvordan får jeg all denne informasjonen fra hjernen min og ut i verden? Når jeg snakker til dere akkurat nå, overfører jeg omtrent 100 bit i sekundet, noe som tilsvarer båndbredden til et modem fra 1980-tallet. Så hva om du kunne skrive direkte fra hjernen din, spurte Dugan.
– Det lyder umulig, men det er nærmere enn du kanskje innser. Og det er akkurat det flytende, menneskelige grensesnittet som behøves for AR, sa Dugan før hun gikk over til å vise en video av en kvinne med sykdommen ALS, som kan skrive på et virtuelt tastatur med tankene.
Det er gjort mulig ved at et sett med elektroder på størrelse med en ert har blitt implantert på det stedet hvor hjernen hennes normalt ville ha styrt motorikken hennes.
– Ved hjelp av dette systemet er hun i stand til å skrive åtte ord i minuttet. Dette er under en tredel av det du kan skrive på smartmobilen din, men det er lynraskt sammenlignet med stillhet, sa Dugan.
Systemet er likevel basert på tenkte arm- eller fingerbevegelser. Hva om man kan dekode tenkt tale direkte?
Velger å dele
Dugan understreket at det man ønsker ikke handler om å dekode brukernes vilkårlige tanker.
– Det kan være mer enn det noen av oss ønsker å vite, og det er ikke noe noen av oss bør ha en rett til å vite, sa hun.
Hun sammenligner metoden mer med at man tar en mengde fotografier med et kamera, før man eventuelt velger å dele noen av dem.
– Tilsvarende har du mange tanker, hvorav du velger å dele noen av dem. Det er disse ordene vi snakker om å dekode, de du allerede har bestemt deg for å dele ved å sende dem til talesenteret i hjernen, sa Dugan.
Hun omtaler det som stille grensesnitt med samme fart og fleksibilitet som tale, men med privatlivet man oppnår med skrevet tekst.
– Og enda bedre, med muligheten til å tekste en venn uten å måtte finne fram mobilen, sa Dugan.
Bygger forskningsgruppe
I løpet av de seks siste månedene har Facebook bygget opp et team bestående av mer enn 60 ingeniører og forskere innen ulike fagfelt for å gjøre ideen om et effektivt «hjerne til tekst»-grensesnitt mulig.
– Sammen har vi et mål om å skape et system som kan skrive hundre ord i minuttet, direkte fra hjernen, sa Dugan.
Dagens teknologi krever kirurgi, og det er ikke godt nok.
– Så vi trenger ny, ikke-invasive sensorer som kan måle hjerneaktivitet flere hundre ganger i sekundet, som har millimeterpresisjon og ikke lar seg forstyrre at de måle registrere signalene gjennom hår, hud og hodeskallen. Ingen slik teknologi finnes i dag. – Vi er nødt til å utvikle den, og vi mener at optisk bildebehandling er det beste stedet å starte, sa Dugan.
Hun mener at dette arbeidet vil kunne ri på bølgen alle de teknologiske forbedringene som drives fram av telekom-bransjen innen områder som ytelse, kostnader og miniatyrisering.
Spesielt interesserte bør se på denne videoen fra omtrent 1:28:30, hvor Dugan blant annet snakker hvilken betydning kvasiballistiske fotoner vil kunne ha for nøyaktigheten til slike målinger.
Mer fra Dugan: Logg inn med en «tatovering» på armen
Uavhengig av språk
Målet er uansett å kunne presentere et slikt system innen relativt få år. Men dette er stadig bare begynnelsen av hva Facebook mener er mulig.
– Fordi hjerneaktiviteten din inneholder mer informasjon enn bare hva ord høres ut som eller hvordan de staves. Den inneholder også semantisk informasjon som forteller oss hva disse ordene betyr. I hjernen din er ikke en kopp bare ordet kopp. Det er en menneskeskapt gjenstand som du kan holde i hånden, og som inneholder væske som folk kan drikke.
– Det å forstå semantikk, betyr at én dag vil du kanskje kunne velge å dele tankene dine uavhengig av språk. Engelsk, spansk eller mandarin – de vil bli det samme, side de ulike språkenes ord for kopp, bare er komprimerte tanker.
Hør med huden
Deretter gikk Dugan over til å fortelle om en metode for å høre med huden. I gjennomsnitt har mennesker to kvadratmeter fullpakket med sensorer på utsiden av kroppen, koblet sammen med et komplekst nettverk med nerver som overfører informasjonen til hjernen. Dette utnyttes til en viss grad i forbindelse med punktskrift (braille) eller ved at døvblinde kan «høre» tale ved å holde hånden på en slik måte at den kan registrere vibrasjoner fra stemmebåndene og trykkforandringer i pusten fra munnen til den som snakker.
Den sistnevnte metoden ble utviklet allerede for rundt hundre år siden, basert på samarbeid med Helen Keller.
– Det disse teknikkene har til felles, er vår hjernes evne til å rekonstruere språk fra komponenter. Vi er satt sammen for å kommunisere og forbindes, sa Dugan.
Hun fortalte at det er sneglehuset i øret som separerer lydene vi hører om til frekvenskomponenter som deretter overføres til hjernen.
– Sneglehuset i øret ditt gjør i praksis en fouriertransformasjon, en analyse av frekvensdomenet, av lyd. Så hva om vi kan gjøre det samme arbeidet som sneglehuset, men å overføre den resulterende frekvensinformasjonen via huden din i stedet?
Vibrasjoner og trykk
Dugan viste fram en video av en kvinnelig ingeniør som kunne gjenkjenne ord via en enhet montert på armen hennes. Enheten består av 16 aktuaktorer som er tunet til 16 ulike frekvensbånd.
Under opptaket hadde kvinnen et taktisk vokabular på omtrent ni ord, noe hun ifølge Dugan lærte seg på under en time.
– Aktuatorene utløses så raskt at hun faktisk må lære seg å føle ordene. Hun har lært å kjenne den akustiske formen til ord, på armen sin, og prosesserer disse som ord i hjernen, sa Dugan.
– Dersom vi setter sammen disse to tingene, vil det en dag, om ikke så lenge, kanskje være mulig å for meg å tenke på mandarin og for deg å føle det umiddelbart på spansk. Tenk hvilke muligheter dette vil gi til de 780 millioner menneskene i verden som ikke kan lese eller skrive, men som ganske visst kan tenke og føle.
Det som likevel kanskje er med dette, er å gjøre det enklere for folk å kommunisere med hverandre når man ikke befinner seg ansikt til ansikt.
Stephen Hawkings: Skriver dobbelt så raskt med Swiftkey
