Bankemon

Augmented Reality: fortiden og fremtiden

Augmented Reality (AR) er en ny teknologi som har potensiale til å endre måten vi samhandler med datamaskiner på en daglig basis.

Dette innlegget vil bli en generell innføring i AR og kan være litt «techy». I et senere innlegg om Sensory Design skal jeg skrive om de nye designmulighetene som kommer med denne teknologien.

Fortiden

Cover "The Master Key"

The Master Key

Ideen rundt augmented reality dukket opp for mer enn 100 år siden: I The Master Key (1901) beskriver Frank Baum et par briller: CharacterMarker. Brukeren ville se en bokstav på hver person i verden: en G for en Good person, E for Evil eller W for Wise. Dette ligner mye på en episode fra TV-serien Black Mirror der hver person i verden får en offentlig tilgjengelig rating.

Å vise informasjon som en overlay over den ekte verden er et av de grunnleggende konseptene med AR.

Det første funksjonelle AR-headsetet ble opprettet i 1965 av Ivan Sutherland. Brukeren vil se en datagenerert wireframe av en blokk som vises i den virkelige verden. Den ble alltid prosjektert foran brukeren, ca 1 meter unna og det var egentlig ingenting å gjøre med den.

Men det var ikke før 1992 at begrepet augmented reality dukket opp for første gang når ansatte av Boeing utviklet et head mounted display som ville hjelpe fabrikkarbeidere å bore hull og plassere bolter i fly.

 

AR på smarttelefoner

AR-apps til mobiltelefoner kom rett etter lanseringen av Android i 2008. Wikitude AR var (og er fortsatt) en reiseguide som viser relevante reiseopplysninger tilknyttet stedet man er på.

Layar var en augmented reality nettleser. Men kunne velge et lag for å se opplysninger innenfor en kategori, og opplysningene var tilknyttet stedet man er på. Lagene ble utviklet og vedlikeholdt av tredjeparter, og kunne være gratis eller betalt.

 

 

Informasjon overlay

Google Glass gir brukere tids- og stedsbaserte informasjonsbiter. Opplysningene vises i et tradisjonelt 2D grensesnitt. Dette er egentlig ikke virkelig augmented reality, men å ha informasjon tilgjengelig ved hjelp av briller når du trenger det skal være et viktig konsept i AR sin fremtid.

Google glasses

Google glasses

PokémonGo

Den mest kjente AR-appen hittil er selvfølgelig PokémonGo. En viktig forskjell fra de andre eksemplene er at PokémonGo viser 3D-modeller i den ekte verden, istedenfor å kun vise informasjon som en overlay. Det visste også et problem med AR da: Pokémon (monstre) flyttet bare et sted i rommet, du kan ikke komme nærmere eller gå rundt de.

Kort sagt, vil AR-apps bare oppdage orienteringen av telefonen, ikke posisjonen i forhold til den ekte verden.

3D matching og tracking

Det har vært mange forsøk på å løse problemet som beskrevet med PokémonGo. Det er fremdeles en stor utfordring og hver løsning har sine fordeler og ulemper.

AR Toolkit

ARToolkit som ble lansert i 1999 benytter markers for å sette opp AR, og ARToolkit har lenge vært det meste brukte rammeverket for AR.

I 2015 prøvde vi oss på AR Toolkit under et Hackathon, og det er lett å se ulempene. Men det vises også hvordan det blir mulig med AR å vise flere detaljer når man beveger seg nærmere visualiseringen med telefonen:

Vuforia

Vuforia er mer avansert enn ARToolkit men det trenger fremdeles et bilde for å starte en AR sesjon. Vi prøvde ut Vuforia under et Hackathon i 2016. Tracking er bedre enn eksemplet øverst, og her er det et SpareBank 1 bankkort som fungerer som en marker for å starte AR opplevelsen.

Google Tango

I 2014 løste Google problemet med 3D-sporing på mobiltelefoner ved å legge til en dybdesensor i telefonen. Teknologien fungerer veldig bra og gir den beste AR-opplevelsen på telefon akkurat nå. Men problemet er at nesten ingen produsenten implementerer denne sensoren i sine telefoner, ikke engang Google. Sensoren koster for mye og den forbruker for mye strøm.

Nåtiden

mixed reality briller

I 2015 overrasket Microsoft alle med sin Hololens. Vi så bilder av designere som tegnet i luften og monstre som kom gjennom veggen. Microsoft kaller disse bildene holographics, men de er egentlig en form av augmented reality. I videoene ser det bra ut: 3D-objekter vises i virkeligheten, man kan samhandle med løsningen ved bruk av hendene og alt ser veldig bra ut. Opplevelsen i virkeligheten er litt annerledes: glassene har et svært begrenset synsfelt, interaksjon med hender er svært begrenset og prosessoren er veldig svak.

Smarttelefoner

Mye har skjedd i år med AR på smarttelefoner. Googles Tango mislyktes på grunn av mangel på produsent og dermed brukeradopsjon. Apple derimot har valgt en annen strategi og overrasket alle med ARKit. ARKit gjorde stabil AR tilgjengelig på et stort marked (200.000.000 enheter!).

Google annonserte ARCore ikke lenge etter. ARCore er i utgangspunktet Google Tango, men man har kommentert ut koden som gjelder dybdesensoren. Denne typen AR krever svært nøyaktig kalibrert sensorer. Apple har gjort dette i lang tid, men kun noen få high end Androidtelefoner har dette, så Apple sin vertikal strategi gir en fordel her.

Ulempen med begge rammeverker er at de bare gjenkjenner horisontale flater. Vegg og andre objekter blir ignorert, og skaper dermed noen urealistiske scenarier der virtuelle objekter beveger seg feilfritt gjennom vegger og møbler. Dette kan trolig bli løst gjennom programvareoppdateringer.

 

AR Cloud

For å kunne lage nyttige AR applikasjoner er det viktig at applikasjonen kan gjenkjenne objekter rundt seg. Da blir det mulig å vise informasjon og opplevelser som er knyttet til miljøet man befinner seg i. I tillegg trenger man objektgjenkjenning for å kunne ha mer nøyaktige posisjonering, og slik at man kan dele en AR opplevelse på et gitt sted.

Mange startups og techgigantene er nå i et løp for å løse denne problemstillingen og kaller det ofte «The AR Cloud».

Fremtiden

AR briller er trolig det neste skritt etter smarttelefoner til den “digitale frigjøringen”.

Forutsatt at det er ønskelig å ha enkel tilgang til den digitale verden, kan man sette det i perspektiv på denne måten:

  • PCer er stasjonære, du må gå til dem og sette deg ned for å bruke dem.
  • Bærbare datamaskiner er mobile, men du må fremdeles sette dem et sted for å bruke dem komfortabelt
  • Smarttelefoner kan brukes hvor som helst, men du trenger fortsatt å få dem ut av lommen og bytte kontekst (f.eks fokus på skjermen / zombie-out)
  • AR-brillene kan brukes kontinuerlig, hvor som helst og vil blande seg med den virkelige verden slik at det blir mindre context switching.

Magic Leap har akkurat annonsert sitt første produkt: Magic Leap One, Microsoft har Hololens og Windows Mixed Reality, og det er nok indikasjoner til anta at Apple er også i gang med en slags AR-brille.

Sensorisk Design

Denne nye typen databehandling vil komme med nye designutfordringer og -muligheter. AR-briller skal blande den ekte og digitale verden, og interaksjon skal være med på den reisen: det blir mulig å påvirke digitale objekter med hendene dine som om de er ekte objekter og det vil være mulig å føle tekstur på de. Dette er “Sensory Design”, en ny type design som vil gå hånd i hånd med AR og VR, og lover å gi rikere opplevelser ved å påvirke flere sanser samtidig. Mer om det i det neste blogginnlegget.