Microsofts blandede reality-planer går langt utover hololens

Da Microsoft kom med overraskelsesmeldingen om et nytt produkt med augmented reality (AR) på et Windows 10-arrangement i begynnelsen av 2015, var ikke selve Microsoft HoloLens headset det første publikum så. Da han avslørte den nye teknologien for verden, viste Microsofts Alex Kipman - skaper av både Microsoft Kinect bevegelseskontroller så vel som HoloLens - i stedet en logo for Windows Holographic, den Windows 10-justerte programvareplattformen som understøtter Microsofts AR-ambisjoner.

Mer enn to år senere er programvaren som driver Microsofts voksende AR-enhetsøkosystem fremdeles den beste indikatoren for hvor selskapet planlegger å ta sin "blandede virkelighet" (MR) fremtid. Det har fått et annet navn nå; Microsoft merket Windows Holographic på nytt til Windows Mixed Reality, men målet har ikke endret seg. Microsoft ønsker å bygge et interoperabelt nettverk av AR-, VR- og mixed reality-headset fra forskjellige produsenter, alle snakker med hverandre og kjører Windows 10 Universal Apps.

Det er tre forutsetninger for denne tilnærmingen: Microsofts førsteparts maskinvare (HoloLens), den utviklende programvarestakelen som ligger i Windows Mixed Reality-plattformen, og Microsofts tredjeparts maskinvarepartnerskap med Acer, Asus, Dell, HP og Lenovo for å bygge $ 299 mixed reality-headset som kjører Windows 10. Den første av disse, Acer Windows Mixed Reality Development Edition-headset, er allerede sendt til utviklere.

Hva er blandet virkelighet?

Microsoft er ikke det eneste AR-selskapet som har begynt å bruke begrepet mixed reality for å skille mellom forskjellige punkter på AR / VR-spekteret. På den ene siden har du de monokulære brillene du ser fra selskaper som Vuzix, og smarttelefonbasert AR popularisert av apper som Pokemon Go.

På den andre siden er det de mer oppslukende kikkerthodemonterte opplevelsene (skjermer i begge øyne med 360-graders synsfelt) av enheter som HoloLens, ODG R-9-briller eller det fortsatt usynlige Magic Leap. På overforenklet vilkår kan du tenke på AR som å legge til lagt informasjon eller virtuelle objekter på mer av en todimensjonal måte på toppen av det som ligger foran deg.

Men kontinuumet der denne typen teknologier eksisterer går dypere enn det. Hvis du forestiller deg et spekter med den fysiske verden på den ene siden og ekte virtuell virkelighet på den andre, vil det se slik ut:

Fysisk verden -> Augmented Reality -> Mixed Reality <- Augmented Virtuality <- Virtual Reality

(Ikke bry deg for mye om forsterket virtuellitet akkurat nå. Vi er ikke helt der ennå).

Bransjen er forankret i forvirrende terminologi for øyeblikket, men å skille ut all sjargongen er viktig ikke bare for å forstå økosystemet, men å identifisere alle punktene Microsoft planlegger å plugge inn i det. Hvis teknologigigantens visjon kommer til å skje, kan Microsofts mixed reality-programvare kjøres i hodesett fra $ 299 til $ 3000, innebygd i forbruker- og bedriftsopplevelser på tvers av spill, e-handel, industriell design og produksjon, interaktive bedriftsdata visualiseringer, medisin og bortenfor.

Hvordan du bygger et blandet virkelighets OS

Under en nylig orientering med Microsoft fikk PCMag en sjanse til å sjekke kort ut det nye Acer-partnerhodesettet. Vi fikk også en oversikt over Windows Mixed Reality-programvarestakken, inkludert litt innblikk i hvordan Microsoft jobber med OEM-er for å bygge $ 299-headsetene, og hva den siste oppdateringen av Windows 10 Creators for Windows-apps med blandet virkelighet på en rekke forskjellige dataenheter.

Windows Mixed Reality-plattformen brytes ned i en rekke forskjellige lag. Øverst i bunken har du den hodemonterte skjermen (HMD) med seks grader av frihet (6DoF), som representerer nivået av tredimensjonal bevegelse og posisjonssporing som støttes. HoloLens bruker det Microsoft kaller innvendig 6DoF, noe som betyr posisjonssporing som kombinerer data fra flere inngangssensorer og kameraer med algoritmer for å holde opplevelsen jevn.

For kontekst støtter for øyeblikket ubundne VR-headset som bruker en smarttelefonskjerm inkludert Samsung Gear VR og Google Daydream View 3DoF, noen ganger kjent som pitch-yaw-roll. Koblede VR-headsett som Oculus Rift og HTC Vive har 6DoF posisjonssporing.

Windows 10 Creators Update inneholder støtte for 6DoF bevegelseskontroll i Acer og andre kommende OEM-headset. Acer Windows Mixed Reality Development Edition inneholder to fremovervendte posisjonssporingskameraer og doble skjermer, sammenlignet med de fire kameraene du finner på de dyrere HoloLens (de to ekstra HoloLens-kameraene brukes til romlig kartlegging), men alle de fem partnerne headset støtter 6DoF. En oppdatering som kommer senere i år, vil legge til støtte for integrerte grafikkbrikker i headset med blandet virkelighet, selv om maskinvaren vil trenge en relativt ny Intel 7 ^- generasjonsbrikke for å få oppdateringen.

De neste lagene i Windows Mixed Reality-stabelen håndterer inngang, mellomvare og applikasjonsprogrammeringsgrensesnitt (APIer) for blandet virkelighet og romlig oppfatning. Inngangslaget behandler alle visuelle, gyroskopiske, tale- og romlige inputdata som en AR / VR-enhet samler inn til enhver tid. Dette kan omfatte data fra kilder, inkludert koordinasjonssystemer, blikk og retning, bevegelser, stemmetilførsel, romlig lyd og romlig kartlegging.

Mellomvare- og API-lagene er nøkkelen til å forstå hvordan plattformen begynner å koble seg til resten av AR / VR-programvarens økosystem. Windows Mixed Reality-utviklerdokumentasjonen inneholder allerede instruksjoner for å bygge holografiske apper ved bruk av populære plattformer inkludert Unity (plattformsutviklingsmotor), Vuforia (AR-utviklingsplattform) og en mellomvare-protokoll for å bygge MR-apper ved bruk av Microsoft DirectX runtime.

Plattformen er ikke åpen, per se - du må spille av Microsofts Universal Windows App-regler, men Microsoft tilbyr en rekke alternativer for å koble seg inn i MR-programvarestakken. Et eksempel på dette er Intels Project Alloy VR-headset, forventet senere i år, som kjører en versjon av Windows Mixed Reality-programvare.

De siste lagene av stabelen legger til et tilpasset brukergrensesnitt (UI) som Microsoft kaller et "skall", sammen med skytjenester som Xbox Live-godkjenning og synkronisering, og samarbeidsmeldinger gjennom tjenester som Skype. I Acer Windows Mixed Reality Development Edition vi fikk en kort titt på, var "skallet" egentlig et operativsystem lagt opp som rom i et hus.

Brukeren kan deretter teleportere i forskjellige rom og starte forskjellige apper som vises som flytende ikoner eller okkupere en flis på en vegg. Dette kan være enkle apper som Bilder, filmer og TV, en Microsoft Edge eller til og med en fullverdig Windows 10 Start-meny du kan navigere i opplevelsen, som fungerte med en Xbox-kontroller. Selvfølgelig er det også noen morsomme 3D-interaktive modelleringsfunksjoner som med HoloLens. Demoeksempler varierte fra elefanter og tigre som streifer rundt til en vinkende astronaut du kan plassere i rommet, og en app som lanserer deg til et 3D-solsystem. Dette er bare et par eksempler, med tanke på at OEM-hodesett kan kjøre hvilken som helst Universal Windows-app. Fra et programvareperspektiv ser Microsoft alle disse enhetene som Windows 10-datamaskiner for hodet ditt.

Selskapet vil muligens gi ut en standard maskinvarespesifikasjon for blandet virkelighet på et eller annet tidspunkt nede i veien, men for øyeblikket fokuserer Microsoft på programvarestakken og co-engineering den kommende bølgen av partnerheadset. Hvis du ser nærmere på Windows 10-jubileumsutgivelsen (og HoloLens Commercial Suite i den), kan du også se programvarefunksjonene Microsoft har lagt under panseret for å gjøre selskapets HoloLens mer attraktiv for generell forretningsdistribusjon.

HoloLens Commercial Suite styrker basefunksjonene i HoloLens Development Edition, slik at bedrifter kan behandle mixed reality-headsettet som bare en annen enhet i deres IT-nettverk. Microsoft ga ut HoloLens Commercial Suite i august i fjor for en prislapp på $ 5000, og for de ekstra $ 2Kene får du funksjoner inkludert dypere administrasjon av mobile enheter (MDM) med Microsoft Intune sammen med Kiosk Mode, som vil lansere HoloLens direkte i en spesifikk app erfaring med formål i butikken-demo i et detaljhandelsmiljø.

Commercial Suite kommer også med Microsoft BitLocker Drive Encryption og tilgang til virtuell privat nettverk (VPN) -beskyttelse, som nå er viktigere enn noen gang. Den skinnende maskinvaren vil alltid få mer oppmerksomhet, spesielt ettersom Asus, Dell, HP og Lenovo ruller ut sine egne partnerehodesett de kommende månedene. Men for å få det klareste bildet av hvor Microsofts mixed reality-strategi er på vei, må du følge programvaren nøye.