Hvordan enhet bygger sin fremtid på ar, vr og ai

Unity er den mest brukte 3D-utviklingsplattformen i verden. Det gir 40 prosent av de topp 1000 mobilspillene og mer enn halvparten av alle nye mobilspill, ifølge appanalysikerselskapet Apptopia. Sammen med Unreal Engine understøtter de to populære spillmotorene de fleste av spillopplevelsene på nettet.

Imidlertid er 3D-utviklingsrommet langt mer overfylt enn det en gang var, spesielt når det gjelder utvidet og virtual reality-utvikling.

Unity fungerer som byggesteiner eller integrerer seg med de fleste av nyere AR / VR-plattformer, inkludert Apples ARKit og Googles ARCore, men den arbeider nå også med konkurranse fra slike som Amazon Sumerian og andre dra-og-slipp-grensesnitt som ønsker å forenkle opplevelsen for mindre tekniske skapere.

For å ligge foran konkurransen og utvikle plattformen for et økende økosystem av nye enheter og 3D-opplevelser, presser Unity en tosidig strategi ledet av AR / VR og AI-divisjonene. PCMag snakket med Tony Parisi, Unitys globale sjef for VR / AR Brand Solutions, og Danny Lange, Unitys VP for AI and Machine Learning, for et indre blikk på Unitys fremtid og hvordan plattformen - og spillene den skaper - blir smartere uten du skjønner til og med det.

Unity's View of AR / VR-landskapet

IDC spår at utgiftene til AR / VR-produkter og tjenester vil nå 27 milliarder dollar i år, og markedet vokser bare derfra. Parisi sa at Unity har som mål å støtte hver plattform i rommet.

"For tre eller fire år siden, før jeg begynte, begynte Unity å gjøre betydelige investeringer i det fremvoksende VR-markedet - Oculus Rift, HTC Vive, Samsung Gear VR, etc. - med målet å lage et slags fullfunksjonssystem for utviklere slik at de ikke trenger å mase seg rundt på det lave nivået om hvordan de skal støtte disse plattformene, "sa Parisi. "Vi har kommet til det punktet hvor du skriver de fleste applikasjonene dine en gang, og du kan portere dem til disse enhetene."

Dette er ikke universelt sant, sa han, fordi en app du oppretter for et mobilt seerhodesett, vil bli designet litt annerledes enn en app som er optimalisert for en PC-basert opplevelse. Men i følge Unitys interne beregninger, gir plattformen i dag 69 prosent av Oculus Rift-opplevelser, 74 prosent på HTC Vive, 87 prosent på Gear VR og 91 prosent av blandet virkelighet (MR) -opplevelser på Microsoft HoloLens.

• Å jobbe med et økende økosystem

  Parisi har jobbet i AR / VR siden midten av 90-tallet og arbeidet med 3D-visualisering. Han var med å opprette VRML-filformatet og andre spesifikasjoner som ligger til grunn for WebGL, og har grunnlagt og jobbet for flere andre VR-selskaper. Han begynte i Unity i slutten av 2016 for å lede annonsering, markedsføring og strategi på tvers av AR, VR, MR og den bredere utvidede virkeligheten (XR) -paraplyen.

  "rett etter Pokemon Go-bommen, som var slags denne forenklede AR mer om plassering, gå et sted og finne en Pokemon, pluss litt av kameraet. Det er en faktor som vi fortsetter å øke. Det handler om beliggenhet like mye som det handler om fordypningen, "sa Parisi.

  På AR-fronten snakket Parisi om hvordan Facebook og Snap bruker sine Camera Effects og Lens Studio-utviklerplattformer for å utvikle hva du kan gjøre med smarttelefonkameraer for å kartlegge omgivelsene rundt deg. Bridging-smarttelefon og headsetbasert AR er opplevelser som Star Wars: Jedi Challenges-spillet, som også ble opprettet med Unity og fungerer med en smarttelefon kombinert med Lenovos Mirage AR-headset.

  Den neste bølgen er telefoner med AR-operativsystemstøtte gjennom Apples ARKit og Googles ARCore, sa Parisi. Som med Amazon Sumerian, samarbeider Unity med Apple og Google om å lage AR-innhold ved hjelp av 3D-verktøy. Unity fungerer også som grunnlaget for open source Google-verktøy som Tilt Brush og Blocks. Parisi ser for seg en delt forsterket verden som spenner over mobile operativsystemer.

  "Apple og Google er begge gode samarbeidspartnere. Vi har dype forhold til dem for å utvikle og støtte disse opplevelsene og XR-innholdet gjennom Unitys 3D-verktøy, " sa Parisi. "Mange av de demokratiserte opprettingsverktøyene som ikke er for kodere eller utviklere eller profesjonelle designere er innebygd i motoren vår. Det som er enda bedre er at du kan ta Blocks-modeller eller Tilt Brush-kunst og ta dem med i andre Unity-apper, akkurat som all annen programvare. som kommer inn i Enhet."

  På MR- og VR-siden er de store enhetene og programvareaktørene Oculus, HTC, og selvfølgelig Microsoft og dets Windows Mixed Reality-økosystem. Unity bygger 3D-apper for dem alle, men Microsoft slører linjene litt mellom blandet og virtuell virkelighet, sa Parisi. HoloLens er en blandet reality-enhet, men Windows Mixed Reality-headsetene er VR.

  - Industrien kommer fortsatt til å ta tak i det vi skal kalle alt dette, sa Parisi. "Avhengig av om du designer innhold som blandes digitalt med den virkelige verden kontra å gå inn i en helt oppslukende verden, har du forskjellige utfordringer. I VR er ytelsesutfordringene høyere. Du må skape en helt syntetisk verden. Det betyr PC -baserte VR-hodetelefoner gjengitt med 90 bilder per sekund og sprenger ytelsen. Den blandede virkeligheten er mindre intensiv, men den må også tilpasse seg i sanntid til hele miljøet den behandler."

• Utviklingen av 3D-innholdsskaping

  Unity er et demokratisert 3D-skapelsesverktøy for å utvikle altoppslukende innhold. Det er gratis, pluss og pro versjoner du kan kjøpe for månedlige abonnementsavgifter, og det er royaltyfritt. Så det du bygger med Unity er ditt. Unity støtter for tiden å bygge for rundt 30 forskjellige plattformer, fra smarttelefoner og PC-operativsystemer til en rekke spillsystemer, smarte TV-er og VR-headset.

  Nylig har Unity blitt brukt til å lage et bredt utvalg av altoppslukende innhold og opplevelser. Disse spenner fra en Sundance Film Festival-serie kalt Spheres, som lar seerne utforske en kosmisk kollisjon av to sorte hull i VR, til Disneys CocoVR-spill, som bruker 360-graders projeksjoner som transporterer spillere inn i Pixar-filmens Land of the Dead.

  Parisi snakket også om å bruke Unity til å bygge morsomme VR-spill som Beat Saber og forsterkede opplevelser inkludert MLB At Bat AR-appen, som lar baseball-tilskuere rette sine smarttelefoner mot spillet og se statistikk på skjermen over spillerne.

  Enhet kan bygge alle disse typer apper, men det er mange nyanser du bør tenke på i design. PC-baserte opplevelser er kraftigere, noe som gir større 3D-modeller i rikere miljøer, og hodesett som Oculus Rift og HTC Vive gir deg også inngangskontrollere sammen med posisjons- og romskala sporing å vurdere. Parisi sa at du må designe for den typen app på en annen måte enn du ville gjort for en 3-graders frihets seeropplevelse på et headset som Google Daydream View. Det er ikke så enkelt som å trykke på en knapp, men Unity har jobbet for at 3D-innholdet du lager kan flytte fra en enhet til en annen uten for mye koding på nytt.

  Utover spill- og underholdningsprogrammer for AR / VR-opplevelser, er et av spørsmålene Unity har kjempet med i det siste, hvordan man kan forbedre 3D-skapelsesmiljøet for å imøtekomme forskjellige bransjer, ferdighetsnivåer og brukstilfeller. I likhet med utviklingsverktøy med lav kode som tar sikte på å tilfredsstille både seriøse kodere og ikke-tekniske brukere, finner Unity ut måter å få grensesnittet, eiendomslageret og resten av plattformen til å fungere for forskjellige typer selskaper og brukere til å utvide sin kunde utgangspunkt.

  "Vi så på disse forskjellige bransjene der AR og VR dukker opp. Det kan være bil-, film-, arkitektur-, medisinsk- eller andre organisasjoner der du distribuerer programvare til hundretusenvis av seter, " sa Parisi. "Det er helt andre verdener, forskjellige bedrifter, forskjellige bakgrunner og produksjonsverktøy. Vi var opprinnelig fokusert på mobil- og spillindustriene fordi det var der veksten var, men nå har hjulet spunnet og timingen er riktig for å ta den spillboken og ta den med til noen av disse andre næringene nå fordi verden går B2B."



Gjeldende AR / VR-begrensninger

For øyeblikket er den største hindringen for mer utbredt adopsjon av MR og VR ikke mangel på innhold, men maskinvarebegrensninger når det kommer til komfort og portabilitet kontra datakraft, sa Parisi. Den fulle reisen til det kommende Magic Leap-headsettet fungerer som en tekstbokstudie i forsøk på å krympe en prosessor som er kraftig nok til en liten nok formfaktor for masseforbruk.

"Det er utfordrende å skape en blandet virkelighetsopplevelse som fungerer ved å gå rundt i stuen din i forhold til å navigere i åpne gater, " sa Parisi. "Vi er på et sted hvor vi fremdeles går gjennom iterasjoner på maskinvaren for å finne det søte stedet mellom datakraft og portabilitet. Med et VR-headset kan du bevege deg rundt til du føler at kabelen henger sammen. Vi trenger en annen måte å overføre disse dataene på. Den ledningen er en smerte; den bryter nedsenking. Jeg var et annet sted et minutt, men så fikk jeg noe sammenfiltret rundt foten."

På AR-siden er begrensningene forskjellige; det handler mye mer om datasyn og prosessorkraft for sanntid 3D-grafikk. Når det gjelder datamaskinvisjon og bruk av forskjellige typer maskinlæring (ML) for å fylle ut hullene og gjøre AR / VR-opplevelser smartere og mer sømløse, er det her Unitys voksende AI-avdeling kommer inn.

• Unitys AI-strategi

  Unity bruker AI på en rekke forskjellige måter, fra å forbedre gameplay og motordesign til å spore brukeratferd og endre måten spillutviklere kan tjene penger på appene sine. AI-teamet, som teller mer enn 100 ansatte over hele verden, drives av Danny Lange, Unitys VP for AI and Machine Learning.

  Lange begynte i Unity for rundt 18 måneder siden etter å ha stått som Head of Machine Learning hos Uber og daglig leder for Amazon Machine Learning. Han har også jobbet hos IBM og Microsoft. Han kom til spillverdenen med et annet perspektiv på ML, og har bidratt til å gjøre Unitys tradisjonelle ML-innsats til mer ambisiøse prosjekter.

  "Virksomheter som Amazon og Uber er så tungt maskinlæringsdrevne. Kommer du fra en verden av selvkjørende biler i dette 3D-spillmiljøet, vil du se etter det perfekte stedet å presse grensen for kunstig intelligens, " sa Lange.

  "Da jeg kom bort, var det en rekke maskinlæringsinnsats på gang der jeg hentet inn erfaring med forsterkningslæring og dynamiske systemer der du i utgangspunktet forbedrer atferd, " fortsatte Lange. "Dette er noe vi gjorde mye både hos Amazon og Uber. Enten du sender bøker eller du optimaliserer for en friksjonsløs pickup for Uber, så er det egentlig ikke folk som sitter og designer de, det er datasystemer som lærer hvor de skal fortelle du hvor du kan møte Uber-sjåføren din. Og da jeg kom til Unity så jeg en enorm mulighet til å ta med disse ideene inn i spillverdenen."

  Som Lange forklarte, spenner Unitys ML-prosjekter alt fra spill til inntektsgenerering. I ett tilfelle ser teamet etter klynger av brukere som har visse utgiftsmønstre som Unity-utviklere ønsker å tjene penger på gjennom annonsering eller kjøp i appen. Enhet overfører deretter resultatene til utviklere for mer effektivt langsiktig engasjement.

  Selskapet bruker også ML for å forbedre gameplay, motordesign og hjelpe til med innholdsfortegnelsesprosessen. Unitys overordnede strategi er i det vesentlige fordelt mellom utviklingssiden på mer ML-tjeneste og mer avansert dyp-læringsforskning på den akademiske siden. Lange sa at dette også går inn i hva Parisis avdeling gjør med XR-utvikling, der Unity gir forskere et 3D-grafisk miljø for å teste ut nye ML-algoritmer.

  "AR og VR er faktisk fantastiske domener for maskinlæring og AI. Jeg tenker ofte på AI som forbedret virkelighet, og virkeligheten er vanskelig å takle, " sa Lange. "Det er tøft å komme med faste algoritmer som forstår alt i et rom og kan legge over det rommet. Du kan ikke virkelig kode det. Du må bruke maskinlæring og AI for å plassere virtuelle objekter i et rom som anerkjenner at et bord er en overflate, og hvis du legger den på kanten av et bord, vil den falle. Dette er områder der maskinlæring spiller en veldig viktig rolle på grunn av denne dynamiske virkelighetens virkelighet; forstå dybden og dimensjonene i virtuelle rom. som tar sikte på å få frem forkant av dyp læring for å revolusjonere måten disse spillene er opprettet og oppfører seg på."



Maskinlæring bak kulissene

På spillutviklings- og gameplay-siden trakk Lange gardinen tilbake til hvordan Unity vever ML-algoritmer inn i opplevelsen for å automatisere etablerings- og iterasjonsprosessen.

"Vi fanger mye atferdsdata: når et spill starter - hvor lenge du spilte, hvilke scener du går gjennom i det spillet, " sa Lange. "I den forstand bruker vi maskinlæring og dataanalyse i en lignende kontekst som Amazon eller Google gjør - å samle atferdsdata og mate dem tilbake til spillutvikleren. Det tilsvarer nettanalyser, og gir deg handlingsdyktige data å bruke med en gang for å se hvilke nivåer spillerne blir sittende fast på, hvilke scener som ikke fungerer, osv."

Disse dataene kan brukes til å optimalisere for faktorer som kjøp og annonsering i appen, men Lange sa at algoritmene er med på å finne en balanse mellom å vise brukere innhold de er interessert i og tjene penger på spill til det ytterste. På makronivå forklarte han at det handler mer om å lage en selvutviklende sløyfe av atferdsdata for å hjelpe spill å utvikle seg organisk, og ta manuell utviklerarbeid ut av ligningen.

"Maskinlæring er der du kan ta data og begynne å opprette forbindelser, " sa Lange. "Når du legger det i en loop, som det du ofte vil se i et spill, fører dataene til spådommer fra spillet og spillerne. Det skaper mer atferdsdata, og nå har du faktisk et system som kan samhandle med og lære fra brukere og hvordan de interagerer med hverandre. En av våre store bestrebelser er å bruke AI-teknologi for å lage mer organiske spill som utvikler seg med bruk."

• Maskiner for læring av maskiner

  Den viktigste måten Unity gjør dette på er gjennom ML Agents, et åpen kildekode-betasatsing som gjør spill og 3D-simuleringer om til treningsområder for autonome intelligente agenter. I all hovedsak lar Unity utviklere distribuere disse fleksible ML-agentene i ethvert scenario, og de vil fungere som en svamp: å lære og utvikle seg på en tilpasset måte basert på det virtuelle miljøet du slipper dem inn i.

  "Min definisjon av maskinlæring kontra AI er at med maskinlæring samler du data, trener systemet, og det er det, " forklarte Lange. "AI er når systemet omskolerer seg hele tiden og blir bedre og bedre. Vi ønsker at spill skal kunne utvikle seg, og et av våre offentlige initiativer for å fremme det er Machine Learning Agents."

  Unity har flere målgrupper for sine ML-agenter. Et scenario er for utviklere, slik at disse automatiserte tegnene kan bevege seg rundt og samhandle med spillerne. I stedet for å kode handlingene sine, lærer ML Agents gjennom forsterkning når de simulerer forskjellige nivåer og hjelper utviklere raskt å teste spill som fungerer som virtuelle spillere som tester tusenvis av spillnivåer parallelt.

  En annen brukssak for ML-agenter fokuserer på fortelling. Lange sa at Unity tester agentene ved å prøve å finne ut hva en spiller vil gjøre videre og deretter følge dem flytte-for-bevegelse. Tanken er å forstå hva menneskelige spillere gjør og hvordan spillet vil utligne de beslutningene i fortellingens større skjema. I spill der millioner av spillere er aktive, kan ML Agents lære og finjustere et spills nivåer eller historier i massiv skala.

  I "Goodboy" -simuleringen ovenfor bygde Langes team et enkelt mobilspill ved hjelp av en maskinlæringsmodell fra Unitys ML-Agents verktøysett. I spillet henter den lille corgien en pinne med søte bevegelser, alt uten å være hardkodet. I stedet blir handlingene og atferden hans kontrollert av ML Agents. Unity planlegger å samarbeide med plattformpartnere for å utvide ML Agents til alle Unitys støttede plattformer.

  "Hvis du tenker på den slags evner i et spill på det vi kaller fortellingens nivå, er det ikke karakterene som beveger seg rundt i spillet som nødvendigvis er kontrollert, men selve selve narrativet. Så du har i utgangspunktet spillet til å prøve å spille deg inn i noen veldig spennende veier. Så du kan velge mellom å gå til venstre eller høyre i en bane, og spillet vil i utgangspunktet orkestrere en rekke hendelser basert på hva det forutsier at du skal gjøre, fem, 10, 15 trekk fra nå, " sa Lange.

  "Du kan forestille deg hvordan det kan fungere i et flerspillerspill, " fortsatte han. "Et av de klassiske eksemplene: tidlig i et spill møtes to individer. En frarøver alt gullet fra en annen spiller, og så skiller de seg med dårlig blod mellom seg. Så spillet ville da sikre en fortelling hvor hver spiller havner sammen på et sted hvor de skal overleve, de må jobbe sammen.De trenger å krysse en bro, og de kan bare gjøre det sammen ellers er de ute av spillet. Det ville være veldig vanskelig å vanskelig kode deg gjennom det med omfattende simuleringer, men med ML Agents kan spillet dynamisk lage slike typer simuleringer."

• Å bygge AI-assisterte virtuelle verdener

  Demoen over "Pyramider" er et miljø som viser frem funnene fra et forsterkende læringsprosjekt kalt Curiosity, der ML Agents raskt utforsker en verden for å oppdage de skjulte belønningene på kartet.

  En annen side av Unitys AI-operasjoner innebærer å bruke ML til å lage mer oppslukende scener og teksturer når du genererer 3D-innhold. Lange sa at dette er et nyere, men veldig lovende felt der autonome systemer i et spill kan generere bevegelsesstyrt innhold og fylle ut naturlige bevegelser, lære hvordan en karakter, menneske eller dyr beveger seg og deretter etterligne animasjonen i et spill.

  "Vi har tusenvis av utviklere som tester ut dette, " sa Lange. "På den akademiske siden har vi begynt å se mange NASA-studenter og doktorgrader ved MIT og Paul Allen Institute i Seattle og gi ut ting på Unity. Jeg har nettopp møtt utviklere i London for å se på dette for NPC-utvikling som virkelig presser på begrense grafisk ytelse med iPhones og Android-enheter."

  Unity har også en motor som heter Extreme AI for å kartlegge personligheter til karakterer, ligner på hvordan Amazon Sumerian bygger AI-infunderte "verter." For ikke-spillbare figurer i et spill, har Unity begynt å eksperimentere med dette for mer naturlig simulering det siste året eller to, sa Lange.

  "Så hvis du vil bygge en robot eller en selvkjørende bil eller designe et hus, kan du gjøre det i Unity og befolke det huset med NPC-er, " sa Lange. "Du kan simulere 1000 familier som bor i det huset og samle informasjon om hvordan karakterene beveger seg rundt. Åpner dørene riktig vei? Er det nok lys i rommene? Hvis du gjør dette i skyen, kan du ha 1000 forskjellige hus med 1000 forskjellige familier. Dette kan virke som å gå utenom selve spillingen, men underliggende for alt dette er spillteknologi."

• The Future of Immersive Apps

  Når selskapets AR / VR- og kunstige intelligensambisjoner utvides, ser Unity utover spill for en ny generasjon 3D-apper. Et eksempel er bilindustrien, som Unity nylig har satt sammen et dedikert team for å skape AR / VR-innhold for kunder inkludert Audi, Toyota, Lexus og Volkswagen. Parisi sa at Unity er ute etter å bruke kraften fra det økosystemet som er utviklet for plattformer for å bringe AR / VR-apper til nye bransjer.

  "Vi endrer hvordan du designer biler, lager film; hvordan du gjør alle disse tingene som et selskap som vet hvordan de skal selge til spillutviklere, " sa Parisi. "La oss som et eksempel si at Ford vil lage en app i innovasjonslaboratoriet. De har avansert maskinvare og programvare, og så kommer Rift ut og de bestemmer seg for å bare gjøre det på en spill-PC. De legger ut en annonse og oddsen er at noen i Detroit-området er en Unity-programmerer. At en person begynner prototyper, det blir til et tremanns innovasjonsteam, og så begynner de å utvikle nye måter å gjøre bildesign for å erstatte fysiske prototyper."

  Parisi ser også mye potensiale for å redusere friksjonen når det kommer til AR og netthandel. Det store kommende bøyningspunktet er World Wide Web Consortiums (W3C) kommende ratifisering av WebXR, en ny standard som lar AR- og VR-opplevelser løpe som webapper direkte i desktop og mobile nettlesere.

  Se for deg å se en annonse for et nytt kjøkkenapparat i ditt sosiale feed, og deretter dra den 3D-modellen inn i et blandet virkelighetsmiljø knyttet til kameraet ditt for å se hvordan det ser ut på kjøkkenet ditt. For at den typen 3D-annonseringsteknologi skal fungere i masseskala, sa Parisi at nettopplevelsen må være sømløs. Hvis du må installere en app for å se alle 3D-objekter som er merket med virtuell informasjon bare for å koble den til kameraet ditt, fungerer ikke modellen, men Unity ser på seg selv som et verktøy sammen med standarder som WebXR som kan bygge bro mellom disse kompatibilitetsgapene.

  Parisi ser for seg en fremtid der formfaktoren for AR / VR-opplevelser er et selvstendig underholdningsapparat, det være seg en hjemmeopplevelse, en stedsbasert app eller en bedriftssimulering for trening. Han sa også at brukergrensesnittet må bli helt oppslukende. Teknologien er ikke der ennå, men han tror ikke den er så langt unna som noen kanskje tror.

  "Noen mennesker tror det vil ta flere tiår før vi kan komme til et virkelig godt oppslukende hodesett eller briller med nok datakraft, " sa Parisi. "Når du vurderer alle de mirakuløse gjennombruddene i miniatyriseringen, kan alle disse beregnede aspektene - CPU, GPU, 5G-nettverk om noen få år kunne flytte noe av prosesseringen ut til kanten eller opp til skyen. Formfaktoren kunne være hva som helst, men det vanlige elementet er definitivt et oppslukende brukergrensesnitt der du kan trykke på en knapp og oppleve fullt realiserte digitale tegn eller lagdelte miljøer som blander de digitale og virkelige verdener."