Spol frem: Thad starner snakker google glass, hjelper hunder med å snakke

Jeg var i Austin, Texas, forrige måned for SXSW Interactive, hvor jeg hadde sjansen til å sette meg ned med en rekke teknologibransjer for video-serien Fast Forward, inkludert Chris Becherer, VP for Product at Pandora.

I denne utgaven av Fast Forward snakker vi med Thad Starner, professor i databehandling ved Georgia Tech. Thad var den tekniske lederen på et prosjekt som til slutt førte verden til Google Glass, som han hadde på seg under chatten vår. Men han har vært i det bærbare rommet mye lenger enn det, og hans arbeid fokuserer på selve menneske-maskin-grensesnittet. Hans nyeste arbeid innebærer å bygge tankelesning bærbare for hunder. Ta en titt på chatten vår i videoen og transkripsjonen nedenfor.

Dan Costa: Det er en travel SXSW. Det er mye snakk om augmented reality. Det er mye snakk om virtual reality. Wearables er fremdeles et veldig varmt tema. Når de fleste tenker på bærbare, tenker de på enten Google Glass eller en Fitbit som du bruker på håndleddet for å spore trinnene dine. Hva tenker du på når du tenker på wearables?

Thad Starner: Vel, for meg er det hvilken som helst datamaskin, hvilken som helst kroppsslitt enhet som hjelper deg mens du gjør en annen, primær oppgave. Det er hvilken som helst datamaskin som er slitt av kroppen som er designet for å være sekundær. Det hjelper deg til en annen hovedoppgave, som å svare på spørsmål under et intervju.

Notatene mine er på min iPad mini. Jeg må fortsette å se ned for å få de siste notatene og få tittelen riktig. Du har det riktig i seg selv.

Ja. Alt jeg trenger å gjøre er å slå et blikk, ta et par ord og gå tilbake til samtalen. Mine gamle systemer, jeg vet ikke om du har sett på noen av mine eldre bilder, men mine eldre systemer hadde skjermen her. Faktisk var det en fra 1997 hvor den til og med var i linsen. Det ble laget av et selskap kalt Micro Optical den gangen. Som faktisk lar deg være ganske lett når du har en intelligent assistent som kan hjelpe deg fra sekund til sekund. Det endrer virkelig selvtilliten og endrer evnen til å gjøre ting mens du vanligvis snubler.

Du var en av de opprinnelige besetningene. Det virker som dere nesten var i konkurranse for å se hvem som kunne bygge det kuleste, mest sofistikerte, mest funksjonelle bærbare systemet.

Jeg begynte å lage systemet tilbake i 1990, men jeg mislyktes om og om igjen. Det var først i '93 at jeg endelig hadde et system jeg kunne bruke i hverdagen. På den tiden jobbet jeg for et selskap som het BBN. De var med på å lage de første ruterne for internett. Etter at jeg hadde satt på enheten, innså jeg om en måned at det ikke bare var god forskning. Det var en god livsstil.

Det er det disse enhetene handler om. Det skaper en morder livsstil for deg. Da hadde jeg selvfølgelig en mobiltelefonforbindelse for internett som ble målt i fot, ikke i bithastighet. Med andre ord, hvor mange meter kunne jeg gå før den analoge telefonsamtalen falt og jeg måtte ringe tilkoblingen på nytt?

Etter hvert dro jeg tilbake til MIT Media Lab og begynte å rekruttere flere og flere studenter som var interessert i dette. Vi hadde en liten konvoi av mennesker som laget apparatene til deres spesielle behov, og vi fant ut hvordan vi kan leve som et samfunn av cyborgs. Det endret det vi tenkte om teknologien. Jeg vil gi deg et eksempel: Anta at du kommer inn som VIP for å besøke laboratoriet. Vi får en person til å snakke med deg om dine interesser. Mens det skjer, vil det være meldinger som går frem og tilbake mellom øyebollene til de andre medlemmene i gruppen som prøver å planlegge dagen din. "Åh, han er veldig interessert i forsterkede sanser. Så du tar ham til lunsj. Jeg trenger å gå til legen avtale klokka tre, så får jeg ham til to." Så har du disse menneskene til å skrive på tastaturene sine som sender meldinger til hverandre mens samtalen pågår og prøver å planlegge en dag basert på hva interessene dine er. Den får slags telepati.

Mange ganger høres det veldig ut som Slack, der vi har kommunikasjon i sanntid og forskjellige segmenter som tar form. Men i stedet for å gjøre den terminalbasert og gjøre den koblet til en datamaskin, der du må være foran den bærbare datamaskinen eller telefonen, er det uansett hvor du er. Du kan gjøre to ting på en gang. Du kan ha den samtalen og planlegge lunsj.

Vel, nei, du vil ikke gjøre det. IQ-en din faller med 40 poeng når du prøver å gjøre det. Det du vil gjøre er å få datamaskinen til å støtte samtalen. For eksempel har vi et system som heter en Remembrance Agent som har en liten støydempende mikrofon, lytter til min side av samtalen, og alt jeg sier blir transkribert og lagt i en tekstbuffer. Og så leter datamaskinen kontinuerlig opp tidligere e-poster, tidligere artikler, tidligere samtaler som kan ha sammenheng med det vi snakker om. Det trekker opp små påminnelser i min visning av detaljene jeg kanskje vil ha med i denne samtalen. Så det støtter samtalen, gir meg informasjon.

Jeg hadde en student som snakket med meg om talegjenkjenning - hvordan du vil bruke talegjenkjenning med bærbare. Og jeg sa: Vel, hvis du virkelig vil gjøre det, bør du - og jeg dro opp notatene mine mens vi har samtalen - jeg sier til ham, du burde virkelig se på Steve Whittakers tale om Filochat fra 1995. Jeg tror han hadde noen gode detaljer om hvordan opptil 93 prosent av folks dag blir brukt på opportunistisk kommunikasjon. Jeg ga ham alle disse detaljene. Studenten min så bare på meg som "hvordan vet du alt dette?" Her er det greit. Jeg visste nok til å lete etter Steve Whittaker, og datamaskinen ga meg alle detaljene. Å ha den slags støtte i sanntid er virkelig slags fantastisk.

Vi har også gjort det før der jeg holdt vitnesbyrd ved National Academy of Sciences i Washington, DC om å styrke mennesker. Jeg viste dem hva jeg gjorde. Jeg hadde studentene mine, gradstudentene mine, tilbake på Georgia Tech - så jeg var i DC, studentene mine på Georgia Tech hørte på og også viste jeg alle jeg hadde en direkte tilbakemelding til Georgia Tech. Jeg la opp både presentasjonsnotatene mine og studentenes notater som de antydet i sanntid.

Så mens jeg vitnet, sa de: "Å, du skulle snakke om dette, " og de ville kaste meg en URL, "eller du bør snakke om dette" og kaste ting opp, gi annen informasjon. Panelet som intervjuet meg, de begynte å stille spørsmål til studentene, ikke om meg.

Jeg var bare en slags ansiktsmann for all denne kunnskapen om dette konsortiet av mennesker på laboratoriet som raskt kunne svare på spørsmål fordi de var eksperter på området. Men de kunne slå opp informasjon mye raskere enn jeg kunne. De brukte meg ganske enkelt til å snakke gjennom. Disse intellektuelle kollektivene, denne muligheten til å gå til eksperter og kunne hjelpe deg med et øyeblikk, er ganske kraftig. På den annen side, hvis du prøver å si "Les e-post" mens du har en samtale, høres du ut som en idiot. Mennesker kan ikke multioppgave veldig bra.

Det er ikke fleroppgaver. Det er virkelig augmentation.

Ikke sant.

Det virker som om det å være smart, kunnskapens natur, intelligensens natur har endret seg. Du pleide å huske alle disse tingene for å samtale med det uten å referere til notatene dine, og det er ikke paradigmet lenger. Du trenger bare å vite hvilke spørsmål du kan stille og være koblet til et system som kan levere svarene til deg.

Det er en viss mengde informasjon du trenger for å internalisere, slik at du raskt kan slå den opp og være i stand til å tenke på disse områdene, men for mange andre ting vil du bare ha verdens kunnskap til fingerspissene og få den levert når du trenger det. Denne ideen om innhenting av informasjonsdidlig tid er veldig kraftig. Det er det jeg tror kommer til å skje i løpet av de neste fem eller ti årene. Vi kommer til å ha disse intelligente assistentene som kan hjelpe oss på sekund for basis.

Det er noe av det som er bra med bærbare datamaskiner. Det jeg tror definerer bærbare datamaskiner er at det er noe der datamaskinen blir en del av oss. Du har sikkert brukt kikkert før ikke sant? Det er noe du plukker opp. Du ser på noe i det fjerne. Du justerer fokuset. De er litt fin, ikke sant? Du må holde dem helt riktig og justere fokuset hver gang du skifter fra et emne til et annet. Du legger dem ned, opp og ned. Du tenker ikke på kikkerten din som en del av deg. Men brillene dine, du har dem på, og du bruker dem hele dagen. Du ser gjennom dem. Du tenker ikke på dem. Du bare bruker dem. Så hva vi har akkurat nå med de fleste av disse enhetene, de fleste av disse datamaskinene, smarttelefonene våre, nettbrettene; de er ikke en del av oss. De er andre.

Så snart du får enhetene nær kroppen, kommer plutselig teknologien ut av veien. Det er paradokset for bærbare datamaskiner. Ved å bringe teknologien nær kroppen, får den den ut av veien. Jeg tror det er dit vi kommer til å gå fremover. Vi kommer til å se flere og flere måter for teknologi å hjelpe oss, gjøre oss kraftigere, mer uavhengige, mer selvsikre og mer informerte på et sekund for delt sekund. Jeg vil se disse intelligente assistentene gå fra noe du snakker med; til noe som er en del av deg. Noe som hjelper deg fra det ene øyeblikket til det neste veldig proaktivt.

Jeg tror at konseptet med å oppleve verden gjennom teknologien i motsetning til bare å bruke teknologien, er en avgjørende forskjell.

Det er opplevelsen jeg har jobbet mot. Mye av det er ganske enkelt hastigheten på tilgangen. Larry Page sa til meg: "Det handler om å redusere tiden mellom intensjon og handling." Jeg var lamslått. Jeg har prøvd å formulere viktigheten av hastigheten på tilgangen til en enhet. Her gjorde han det i en setning. Tiden mellom intensjon og handling er avgjørende.

Et av demoene jeg gjør er å få alle til å fullføre to oppgaver. Jeg får dem til å rekke hånden etter at de har fullført hver oppgave. Så jeg skal si noe som "Ok, hva er klokka?" Jeg skal rekke hånden fordi tiden min er foran på skjermen min akkurat nå, og publikummet mitt fullfører også oppgaven veldig raskt. Da er den andre oppgaven jeg har dem å svare på et spørsmål som "hvor er Mount Pinatubo?" Jeg kan rekke opp hånden, fordi spørsmålet fikk svaret på skjermen akkurat nå. Det er på Filippinene, og faktisk har jeg et lite kart over hvor det er akkurat nå på skjermen min.

Det er så vanskelig for publikum å komme til den informasjonen raskt at de ikke en gang gidder å gjøre det. Jeg snakker om tekniske målgrupper som Xerox Park eller Georgia Tech eller Stanford. Så her er jeg, i et publikum fullt av nerder, gjør et eksperiment med dem, og de fleste av dem gidder ikke engang å prøve å få til den informasjonen fordi de vet at det vil ta for lang tid.

Hva om vi kan endre det fra noe som tar for lang tid til noe som er like enkelt som å sjekke tiden. Plutselig gjør du folk mye kraftigere. Hvis du kan redusere tiden for intensjon til handling til innen to sekunder eller mindre, vil plutselig folk gjøre det uten å tenke på det. Det er en del av dem. Når det går over to sekunder, vil bruk går eksponentielt ned og folk tenker på som en "annen."

Før vi begynte å spille inn snakket vi om skytshelgener. Og vi prøvde å finne ut hva St. Stanislaus var skytshelgen for. Jeg har et internett-tilkoblet nettbrett i hånden. Jeg ville ha informasjonen. Men jeg gadd ikke åpne Google, skrive det inn og søke etter det fordi jeg ikke brydde meg så mye. Men bare ved å ha den samtalen dukket den opp på skjermen.

Jeg mener jeg har det her. Jeg spurte bare. Dette er mer eksplisitt. Jeg sa ganske enkelt: "St. Stanislaus var skytshelgen for?" - svaret er Polen - og dukket deretter opp et par sekunder senere. Det er ganske kraftig. Det reduserer typen motvilje mot å prøve å finne informasjon om den i verden. Det er flott for meg som professor fordi det får meg til å virke mer intelligent enn jeg er.

Dette er noe som skjedde da jeg var student ved MIT. Jeg tok en klasse fra Justine Cassell, og det handlet om gest . Under en gjennomgang før slutteksamen spurte hun: "Hva var viktigheten av Deixis?" Jeg hadde alle klassenotatene mine på datamaskinen min, og jeg kunne få tilgang til det veldig raskt med dette tastaturet. Det var før talegjenkjenningen ble veldig bra. Det jeg ville gjøre er å konstruere setningene mine slik at jeg kunne finne svaret i tide til å fullføre en setning.

Så jeg rakte hånden for å svare på spørsmålet. Hun ba meg. Jeg sa: "I begynnelsen av klassen sa vi viktigheten av deiksis var åh, åh, åh, um, " fordi jeg gjorde en feil. Jeg droppet tastaturet. Jeg kom i feil modus for E-Mac-er. Jeg sa: "Jeg må komme tilbake til deg. Jeg kom i feil modus."

Hele klassen brøt opp og lo. De hadde brukt hele denne tiden sammen med meg og hadde ikke skjønt at jeg gjorde dette på daglig basis. En professor som tok klassen med meg lente seg og sa: "Nå vil jeg ha en. Du gjør dette hele tiden, ikke sant? Du kan hente informasjon så raskt. Det virker som det er en del av deg." Ja, det er akkurat grunnen til at jeg gjør det.

Det var utrolig at disse professorene og studentene som jeg hadde jobbet med i mange år, aldri aldri skjønte hvor mye hjelpemiddel enheten gir meg. Første gang jeg holdt faglig foredrag, kom en av seniorstudentene opp og sa til meg: "Det var den beste snakken jeg noensinne har hørt at du holdt, men hvorfor hadde du på deg datamaskinen din?"

Hun ante ikke at selv om de fleste har indekskort fra 3 til 5, så har jeg det her oppe. Å ha den slags bistand gjorde meg til en bedre foredragsholder. Det var bare oppmerksom på folk på den tiden at du kunne bruke maskinen din på denne måten.

Så la oss lage en liten pivot. Vi har snakket mye om menneskelige bærbare. Du jobber med hunder nå. Forklar arbeidet du gjør.

Prosjektet heter FIDO, Facilitating Interactions for Dogs with Occupations. Ja, det er en forkortelse, men den er en søt. Tanken er at det er alle disse arbeidshundene der ute. Hunder som er allergivarslende hunder eller medisinske alarmeringshunder, søk og redning, bomberegistrering, inspeksjon for TSA for smugling eller jordbruk. Disse hundene gjør mange jobber, men de har veldig vanskelig for å kommunisere hva de føler og hva de tenker til håndtererne.

Vi hadde en av våre trenere for et par år siden for å gjøre en demonstrasjon. Hun er diabetiker og en av disse menneskene som bare kan besvime av mangel på blodsukker. Hun har en hund som er trent til å reagere på den våkne situasjonen. Hunden går og finner den nærmeste personen, tar tak i dem og prøver å bringe dem til henne fordi hun snart skal gå ut.

Før hun skal besvime, går det og får hjelp?

Ja. Det kan faktisk føle at endring i kroppens kjemi fra lukte , og få hjelp. Dette skjedde ved sikkerhetsporten på Atlanta lufthavn, og hunden gjorde det den ble trent til å gjøre - gikk opp på en TSA-sikkerhetsoffiser. Sikkerhetsoffiseren trodde bare hunden var vennlig, men treneren vår sa: "Jeg kommer til å besvime om et sekund. Jeg må sette meg ned." Du kan forestille deg at det ville vært mye bedre hvis hunden kunne snakke.

Så, vi har laget en vest der hunden går og formidler varsler ved å trekke i vesten. Når sensoren er aktivert og sier: "Følg meg. Min eier trenger din assistanse." Selvfølgelig, første gang du tester ut dette, tror folk at de blir pranked, eller at de bare ikke tror det. Snakket denne hunden bare med meg?

Det er et lydopptak av en menneskelig stemme som faktisk sier den setningen?

Ja. Vi må trene hunden til å gjøre det to ganger fordi første gang menneskene ikke tror det.

Sier hunden andre gang: "Nei, virkelig! Jeg mener det denne gangen?"

Nei, vi får bare gjenta det samme, og det ser ut til å virke. Vi tester det fremdeles. Vi må teste det på noen intetanende mennesker på Georgia Tech og se hva de sier. Hvis det skjer med deg, vet du at det er en del av testingen vår. Vi vil ha en av assistenthundene våre på trening som kommer hit for å gjøre den demonstrasjonen.

At hunden må lære nye triks klokka 14 i dag?

Faktisk trodde vi først at vi kom til å ha problemer med å bringe hunden til SXSW, og derfor kommer vi til å trene mye i dag for å kunne vise frem hva vi vil.

Tanken på at disse hundene har alle disse oppfatningene som de kan artikulere til oss er litt ny. Vi hadde litt trykk på FIDO-vesten vår, og vi fikk en samtale fra Georgia Tech-politiet som spurte om vesterne kunne brukes til hunder som bombesniffing. Vi ble overrasket over å høre at de har bombesniffende hunder, forklarte at hundene blir brukt til å skanne idrettsplassene før folk kommer inn. "Vi er som, " Oh. Fortell om bombesnusing. "Vi er interessert å lære mer .

Det viser seg at hundene er trent for ting som pistolpulver og C4, men også ting som peroksidbomber, som… lukter veldig annerledes. Peroksidbomber er også veldig ustabile. Hvis du får en av disse, vil du ikke ha hunden eller føreren noe sted i nærheten. Krutt eller C4 er veldig stabile, og det er ikke et problem. Det Georgia Tech-politiet ønsket å gjøre, var at hundene hadde sin vest med to små trekkleker. Hvis hunden lukter krutt , de trekker pistolpulveret ett og det geo-lokaliserer dem og den viser hundens plassering på offisers display hvor hunden er. Da vet de at det er en bombe her, men det er en stabil bombe, og de kan bare be hunden om å bli der og bare bjeffe på bomben til de finner den raskt.

Hvis hunden trekker på den andre siden av vesten, er det en peroksidbombe. Vi vet at det er ustabilt, og så husker du faktisk hunden for å få den ut av veien, og så sender du en annen type bombehandlingsenhet.

Det samme med søk og redning… og disse jordbrukshundene fra TSA for hva de lukter i folks bagasje. Du kan og til og med gjøre dette for inspeksjon av bønder. Det er noen ting som søtpotetrot, der du ikke kan fortelle utenfra at det er et problem. Det er en ny ting i Nord-Carolina som bare herjer avlingene deres. Hundene kan lukte på det. Du kan sende ut hundene og ha dem slik at de kan søke i feltene til de finner dem. Hvis de finner det, varsler de. Du ser hvor de er. Du går der. Du kan se hvor de befinner seg, grave opp røttene, bekrefte at den faktisk råtner og så blir du kvitt den delen av feltet og begynn på nytt.

Det viser seg at når vi begynner å bruke disse hundene til å gjøre disse tingene, flere kommer ut av treverket, oppdages nye bruksområder. Hunder som snuser trøfler, for eksempel.

Det var det jeg tenkte.

Det er en av favorittene mine. Vi har en amatør som vil spille med oss ​​nå på den.

Kan jeg låne hunden til helgen?

Nøyaktig.

Det jeg liker med det, er at du gir mennesker tilgang til hundens oppfatninger, som på mange måter er overlegne mennesker, og bare bruker teknologien for å tillate dem å kommunisere disse oppfatningene.

Luktesansen deres er 100 ganger bedre enn noe vi gjør elektronisk. De har veldig god sans for å høre. Synet deres er ikke så bra som vårt, men de oppfatter annerledes. Hvis vi bare lar dem kommunisere bedre, kan vi kanskje lære mye mer om hva de er i stand til å gjøre og hvordan de kan gjøre jobben bedre. Selvfølgelig synes hundene dette er kjempegøy. Dette er alt for dem.

La oss gå videre til haptisk tilbakemelding og haptisk læring og noen systemer du har gjort der. Er det sant at du kan lære noen å spille piano uten å spille piano ?

Det er ganske sprøtt. Vi kaller dette for passiv haptisk passiv tilbakemeldingslæring. Det er en av superkraften som bærbare datamaskiner kan gi deg. Ideen om at den kan lære deg en kompleks mekanisk oppgave eller kompleks manuell oppgave uten oppmerksomhet. Det er litt overraskende. Vi har gjort dette med piano flere ganger.

Anta at du vil lære Beethovens "Ode til glede." Det er en av de enkleste vi bruker til demonstrasjonene våre. Vi har deg på deg en hanske, og hansken har lite vibrasjonsmotorer på hver finger. Du tar på deg Bluetooth-headsettet, og det spiller bare sangen om og om igjen mens du og jeg snakker, eller når du leser e-post, eller hvis du kjører uansett. Du ignorerer den, og den spiller bare sangen om og om igjen. Når hver lapp spilles, tapper den fingeren som tilhører den lappen. Etter 20 minutter har du den første strofen til "Ode til glede."

De neste 20 minuttene har du det andre. På omtrent en time og 30 minutter av akkurat denne tappingen, måtte vi bryte den opp i de rette biter, men etter omtrent en time og tretti minutter har du hele sangen. Hvis du legger fingrene ned, så legger du hånden ned på pianoet, markerer vi hvor den første lappen er fordi ellers du ville ikke vite det, og hånden din blir besatt og den spiller bare sangen den. Det er en av disse tingene som hvis du fokuserer på det for mye, ikke kan du gjøre det, men hvis jeg distraherer deg, kan du det.

Du spiller sangen, og jeg ser for meg at du spiller lydene tilbake i hodet for å prøve å treffe de samme tonene.

Vi gjorde dette med Chad Myers på CNN en gang. Han har ikke noe musikalsk talent. Vi la den på hånden hans mens han sporet etter en orkan i Gulf, og førte ham ut live på CNN. Du kunne se at han hadde denne sceneskrekken. Denne fyren er foran 20 millioner mennesker hver dag, men får likevel sceneskrekk når han legger hånden på pianoet. Du kunne se at han ikke en gang visste hva sangen var. Han begynner bare å tappe på den. Han vet ikke hva det skulle bli, men mens han fortsetter, kjenner han igjen melodien. Plutselig blir rytmen bedre, og han gjentar den deretter. Han blir bedre og bedre på det som han går. Du kunne se denne "oh my word" åpenbaringen i ansiktet hans. Etter å ha gjort det for meg selv et par ganger, vil jeg si det er en veldig merkelig ting.

Det vi prøver å gjøre nå er figur hvor langt vi kan gå med det. Vi startet med bare en enkelt note, melodier med en hånd. Da har studenten min, Caitlyn, funnet ut hvordan jeg gjør akkorder. Nå er vårt stykke Mozarts tyrkiske mars. For folk som er musikere, vet du at to hender er veldig forskjellige, veldig forskjellige rytmer på dem. Det er et komplekst stykke at det å lære det er ikke-trivielt. Vi tar komplette nybegynnere, kaster hanskene på hendene og etter noen få økter spiller de dette komplekse stykket. Jeg sier ikke at de er gode musikere, men jeg sier at de kjenner notesekvensen. Vi ble interessert i deretter i hva annet vi kan være i stand til å lære.

En av tingene vi begynte å se på var å skrive. Siden vi fant ut hvordan vi skulle gjøre akkorder, prøvde vi å gjøre blindeskrift. Braille involverer disse seks fingrene, så det er prikkene, eller disse åtte fingrene hvis du gjør den utvidede formen av det. De fleste gidder ikke å lære seg blindeskrift når de blir eldre når de mister synet. Det er også en skikkelig krise med studenter. Rundt 40 prosent av dem lærer aldri punktskrift i det minste ikke tilstrekkelig nok til å kommunisere med bruk av den. Å lære blindeskrift for en blind student er en av de store indikatorene på fremtidig pedagogisk fremgang og økonomisk suksess. Disse punktslærerne som underviser i punktskrift er reiseruterende, bevegelige. De går bare fra skole til skole fordi det ikke er nok krav om å ha en fast lærer på en bestemt skole.

Vi begynte å se på å lage hansker som kunne lære mennesker braille passivt. Svaret var ja. Om fire timer kan jeg gi deg en ørepropp og disse hanskene. Mens du gjør og du kan gjøre hva du vil, og det bare gjentar deg, "Den raske brune reven hopper over den late hunden." Det gjør hver bokstav av gangen, og du kjenner brevet på fingrene. Etter omtrent fire timer med dette, sier jeg: "Hva er bokstaven G, " og du vet at det er det. Hva er bokstaven A, "vet du at det er at. Ikke bare kan du skrive det, men du kan føle det. Du løper fingeren over pips og vet hvordan du skriver inn brevet. Du går, "Ok, nå, hvordan skulle jeg skrive det? Ok, så det er G." Til vår overraskelse fungerer det bare.

Hva tror du skjer i hjernen for å muliggjøre den slags forbindelse? Fordi det ikke er bevisst, og det er ikke bare intellektuelt heller? Det er noe annet mellom sinnet og kroppen.

Det er mye jeg virkelig ikke vet. Men det er noen spekulasjoner fra en kollega av meg som tror at det som skjer er at berøringssansen er en mye tidligere evolusjonær menneskelig sans som mennesker fikk evolusjonært. Nesten alle dyr har en følelse av berøring. Det ser ut til å passe med ideen om at berøring er en del av en veldig lavt fungerende del av hjernen vår, veldig lav øgle hjerne type ting. Kanskje er det eksponeringen som virkelig konditionerer oss til å gjenkjenne disse mønstrene. Mens du prøver å lære noe som språk når du sover, fungerer det ikke veldig bra fordi lyd er en veldig mye høyere hjerne-ting. Derfor forventet vi ikke at eksperimentet med tekstinnlegg skulle fungere. Musikk er veldig lite hjernen, mens språksystemer er tenkt som høyere hjernefunksjon.

Det er ikke språkassosiert.

Ikke sant. At læring av tekstinnlegg fungerte var en overraskelse for oss. Vi er ikke helt sikre på hvor langt opp vi kan gå. Kan vi lære tegnspråk? Kan vi lære dans? Kan vi hjelpe eksperter med å bli mer effektive? En av tingene vi ønsker å gjøre er å få noen baseball pitchers og registrere armbevegelsene deres og se om vi kan spille det tilbake til dem i løpet av deres nedetid og øke konsistensen.

Jeg aner ikke om noe av dette kommer til å fungere. En ting vi prøvde var Morse Code. Braille er bare en nøkkelsekvens. Morse Code er rytme.

Vi fant ut at vi kan bruke induksjonsomformeren på glass. For å tappe på siden av hodet. Nå fungerer dette normalt ved å vibrere skallen din og sende lyden direkte til cochleaen din, ved å omgå trommehinnen. Dette er grunnen til at jeg kan bruke dette og få små varsler og ikke ha noe som blokkerer ørene mine, men hvis treffet ditt med 15 hertz føles det som et trykk.

Vi startet med "raske brune revehopp over den late hunden" stiltrening, men nå tapper vi bare på siden av hodet ditt i Morse Code og tror det eller ikke om 4 timer igjen - det virker som den magiske tiden for alfabetet - De fleste av deltakerne våre gikk ned til 0 feil… når vi ber dem skrive S. Vi kan vise dem streker og prikker på papir, og de kan skrive bokstavene for det. Vi kan trykke på siden av hodet igjen, og de kan vite hvilken beskjed vi sender.

Så fire timer, og vi får dem til å gjøre dette under et videospill. Så vi sørger for at vi distraherer dem med et videospill. Videospill viser seg å være den mest effektive distraksjonen.

Det har vi visst veldig lenge.

Det er sant. Vi prøver gradseksamener. Gi dem leseforståelse eller matematikkproblemer. Det viser seg at den eneste som er distraherende, er videospill.

Det er en interessant ting. Vi snakket bare med Poppy Crum tidligere i dag om lyd og miksing av sanser. Det er mye AR på dette showet; det er mye virtuell virkelighet. Noe av det mest interessante skjer ikke bare i en forstand, men i en samling sanser. Så i denne samtalen har vi snakket om det visuelle rommet, vi har snakket om lydrommet og også det fysiske. Den taktile sensasjonen. Når du setter sammen alle disse tingene, virker det som om interessante ting begynner å skje.

Det er hele greia. Det er ikke bare syntesen eller sansene. Det er også det faktum at det er noe du kan ha på deg gjennom dagen. Når du først har den slags nærhet til kroppen, kan du gjøre alle slags ting med kroppen vi ikke tenkte på før.

Passiv taktil tapping læring er en, og en annen ting som kom opp var passiv taktil tapping rehabilitering. Dette var også ganske overraskende for oss. Vi hadde et åpent hus som demonstrerte pianospillingen vår og en av kollegene våre på Shepherd Center - som gjør mye arbeid med ryggmargsskader - hun kom forbi og sa: "Hei, jeg vil ha dette for pasientene mine." Jeg kunne ikke forstå hvorfor hun ville at folk med tetraplegia skulle øve på piano. Hun sa: "Nei, du forstår ikke, Tetraplegia betyr bare at alle fire lemmer er rammet. Mine pasienter med delvis ryggmargsskade har fortsatt noen sensasjoner og litt fingerferdighet. Jeg vedder på at hvis vi legger hanskene på dem og trente dem til å spille piano, at de faktisk vil gjenvinne litt sensasjon; forbedre følelsen og fingerferdigheten."

Hun hadde rett. Vi lærte om åtte forskjellige sanger over åtte uker. Deltakerne ville ha hanskene på to timer om dagen, fem dager i uken og deretter ha pianotimer tre ganger i uken. På slutten av de åtte ukene gjorde deltakerne som hadde hanskene mye bedre. De hadde betydelige forbedringer i håndfølelsen og fingerferdigheten sammenlignet med menneskene som bare hadde vanlig pianotimer.

Så denne ideen om at vi kan gjøre rehabilitering, og at vi kan lure hjernen din til å bruke flere og flere ressurser på å forklare disse signalene som kommer ut fra hånden din, er bare overraskende. Jeg vet ikke om du noen gang har hatt et brukket bein eller hatt en forelder som hadde hatt en hofteoperasjon, men rehabilitering tar lang tid. Det er veldig kjedelig, og det er vanskelig å gjøre det morsomt. Det er vanskelig å få samsvar. Hvis jeg bare kan ta på meg en hanske og få rehabilitering, og forresten, vil vi gi deg denne superkraften som du kommer til å lære å spille piano på slutten av det, det er liksom motiverende for en mange folk.

Det er det vi holder på med. Vi gjør det akkurat nå. Vi prøver å se om dette kan hjelpe med utvinning av håndfølelse etter hjerneslag. Hvis det viser seg å fungere, så er det en million mennesker i året vi kan hjelpe. Det er veldig spekulativt. Vi aner ikke om det kommer til å fungere eller ikke, men vi får se.

Greit. La oss komme til noen spørsmål jeg stiller alle gjestene mine. Hvilke teknologitrender ser du akkurat nå som angår deg mest? Hva holder deg oppe om natten?

Veldig lite holder meg oppe om natten. Jeg sover ganske godt.

Du har tre jobber.

Jeg har tre jobber. Jeg har ikke tid til å sove. Mange menneskers bekymringer for teknologi er det du ser i pressen. Virkeligheten er mye kjedeligere enn hva mange kommentatorer vil føre deg til å tro eller filmene vil. Jeg antar at det jeg bekymrer meg mest for er ekkokammeret som sosiale medier kan forårsake. Folk kan tro pseudovitenskap. Mennesker kan bli ført til å tro ting som bare ikke stemmer. Folk kommer med kommentarer til arbeidet mitt, og det er galt.

Jeg jobber mye med døvesamfunnet. Det viser seg at å lære barnet ditt tegnspråk vil hjelpe dem til å tilegne seg språkferdigheter raskere. I den lengste tiden trodde folk at hvis du lærer barna dine tegnspråk, vil det forsinke begynnelsen av normal tale. Det er nettopp galt. Å lære tegnspråk fra fødselen ser ut til å bidra til å forbedre alles språkferdigheter.

De fleste barn kan ikke virkelig danne ordene sammenhengende før de er 12 måneder gamle. De kan begynne å danne tegnene, du vet ting som melk eller mat. Det kan de gjøre på seks måneder. Å ha barn til å kunne uttrykke seg er det som gir dem kortsiktig hukommelse. Du lærer korttidsminne fra å lære å kommunisere. Å ha barna til å kunne signere seks måneder tidligere enn de kan snakke kan gi dem en fordel på hukommelse og språk generelt. Den opprinnelige forskningen var 20 år gammel, men de er ganske sikre på det nå. Så det var ikke nylig at til og med det medisinske samfunnet har sagt: "Å du skulle lære ikke bare døve barn, men alle barna tegnspråk." Det er en ganske kraftig ting.

Vi har et spill som heter Pop Sign som lar hørende foreldre til døve barn lære tegnspråk, eller eventuelle foreldre til å lære tegnspråk, ved å spille på dette vanedannende spillnettstedet eller deres mobiltelefoner.

Så når jeg kommer tilbake til det opprinnelige spørsmålet, ser jeg de andre situasjonene der mennesker som kommer inn i ekkokamre, spesielt med sjelden kunnskap. Det er lett å få folk til å gå feil vei.

Hva er du mest oppmuntret av og mest håpefull på den optimistiske siden?

Jeg liker ting Elon Musk gjør med å prøve å konvertere oss til solenergi. Jeg er den typen person som venter på at takpannene skal være tilgjengelige, slik at jeg kan omgjøre huset mitt.

I mitt eget rom, den bærbare databehandlingen, tar den intelligente assistenten fart. Å se menneskers liv endret av tilgjengeligheten av denne enheten er ikke bare fordi det forbedrer deres personlige liv eller yrkesliv, men bokstavelig talt redder liv på operasjonsromsbordet, bare på grunn av informasjonen vi kan levere akkurat i tide til kirurgen.

Så denne ideen om at vi kommer til å ha disse intelligente assistentene som kan hjelpe oss på sekund for basis. Endelig kommer vi til det stadiet hvor disse tingene disse tingene blir nyttige.

Hvilken gadget, en tjeneste eller en enhet du bruker hver dag, forandret livet ditt? Hva elsker du mest? Du kan ikke velge Google Glass.

Kan jeg velge min forrige prototype fotosystem ?

Jeg vil nok tillate det.

Systemet jeg hadde før Glass var et Micro Optical SVB6-skjerm og Twiddler-tastaturet og en datamaskin med skulderpakke. Maskinvaren var ikke spillskifteren, det var muligheten til å ta notater under samtaler og referere til disse notatene har endret livet mitt. Hvis jeg sitter over bordet fra en nobelprisvinner til lunsj, vil jeg kunne huske den samtalen. Jeg vil vite bare de fem ordene som vil anspore mitt naturlige minne.

Det viser seg at det å ha dette tastaturet slik at jeg kan skrive under bordet og ta notater om den samtalen, har gjort meg til et mye mer effektivt menneske og mer sosialt grasiøst. Noe av det som elevene mine ble sjokkert over å se, er at før jeg ser noen, drar jeg opp Rolodex på dem. Det har siste gang vi snakket sammen og det vi snakket om. Det hjelper meg virkelig å laste inn hjernen min om samtalene våre.

Anta at jeg besøker en gammel venn. Jeg har notater som "Hei, ja, datteren hans skulle på college. Hun studerte geologi; jeg ville sette henne i kontakt med min kone. Jeg burde spørre ham om det skjedde." Det gjør det virkelig mulig for deg, ikke bare i din yrkeskarriere, men også å være mer sosial.

Ja, vi snakket mye om at disse enhetene gjør oss smartere og fikk oss til å virke smartere. Den utvidelsen av minnet der du plutselig er koblet til mer av livet ditt fordi du kan huske mer av det fordi du kan få tilgang til mer av det og få disse påminnelsene i sanntid, det er et interessant program.

I de første dagene med bærbar databehandling, gjorde vi tre ting. Vi gjorde utvidet / alternativ virkelighet, intellektuelle kollektiver og utvidet minne. Det intellektuelle kollektivet er en slags sosiale medier. Forsterket virkelighet er alle raseri i disse dager. De fleste mennesker skjønner ikke at det ble kalt kunstig virkelighet før vi tegnet begrepet Alternativ Augmented Reality. Egentlig kan jeg fortelle deg hvorfor vi endret navnet.

Hvorfor gjorde du det?

I de første dagene jeg studerte denne kunstige virkeligheten, var det et fyrnavn Myron Krueger, som skrev en fantastisk bok som ble kalt Artificial Reality 2 . Jeg anbefaler det til alle som ønsker å forstå Augmented Reality. Uansett, jeg tror det var Timothy Leary som begynte å holde presseintervjuer der han snakket om Virtual Reality and Artificial Reality som LSD narkotikaturer. På det tidspunktet var jeg student som skrev et stipendforslag, og jeg ville ikke at de skulle slå opp begrepet Kunstig virkelighet og se det tilknyttet LSD.

Så jeg trodde jeg måtte finne et annet begrep for å bruke det som ikke ville trekke opp noe på nettet som kan få meg i trøbbel, så vi tok denne bevisste beslutningen om å kalle det Augmented Reality. Heldigvis for meg disse andre gutta på Boeing så også på å bruke utvidet virkelighet for å sette sammen disse tingene for å gjøre elektriske ledningsnett og lage fly, og de kom med samme begrep. Så jeg tror jeg hadde den første skriftlige versjonen av den, og de hadde den første publikasjonen på den. Navnet Augmented Reality stakk.

Fikk du tilskuddet?

Jeg gjorde. Det er grunnen til at jeg er her i dag. Takk til NDSEG, National Defense Science and Engineering Graduate Fellowship, tror jeg. Hvis det ikke var noe for dere, ville jeg ikke vært her. Jeg ville ikke være professor. Den bevilgningen tillot professoren min å ta på seg en ekstra gradstudent og la meg få bærbare datamaskiner til å skje. Så tusen takk.

• Spol fremover: 'Merk til selv' vert Manoush Zomorodi Spol frem: 'Merk til selv' vert Manoush Zomorodi
• Fast Forward: SAPs Steve Singh on Automation, Business Without Borders Fast Forward: SAP's Steve Singh on Automation, Business Without Borders
• Spol frem og tilbake: Hvordan bygge emosjonelle maskiner Spol frem og spør: Hvordan bygge følelsesmaskiner

Hvis folk vil følge deg og finne ut hva du jobber med, hvordan kan de gjøre det på nettet?

Den enkleste måten er å gå til Google Scholar og skrive inn navnet mitt, så får du tilgang til alle papirene mine og bare klikker på de nyeste. Hvis du vil se noe som er mer dag for dag, hvis du går til Google + -samfunnet på Wearable computing, det er den jeg driver, prøver jeg å legge de kuleste tingene som skjer der ute. I det minste fra forskningen min, og vi skal begynne å gjennomgå noen av tingene som skjer generelt.