Ibm watson hjelper universitetsstudenter å lære mandarin

Universitetene har kommet langt i språkvitenskapene sine og beveget seg utover bare tradisjonelle klasser i en forelesningssal og forhåndsinnspilt undervisning uten samhandling. Nå har studentene tilgang til teknologier som kunstig intelligens (AI) og naturlig språkprosessering (NLP) i et oppslukende læringsmiljø. Det er det som skjer på Cognitive and Immersive Systems Lab (CISL) på Troy, New York, campus på Rensselaer Polytechnic Institute (RPI). Det er her instituttet har gått sammen med IBM Research for å lage teknologien til et seks ukers sommerkurs der studentene samhandler med AI-agenter i miljøer som inkluderer gatemarkeder og restauranter.

Kurset, med tittelen "AI-Assisted Immersive Chinese", inneholder et 360-graders panoramavisningssystem av datamaskingenererte scener i laboratoriets Cognitive Immersive Room (CIR), som også kalles "situasjonsrommet." De virtuelle scenene finner sted i Kina. Studentene snakker med avatarer som drives av Watson Assistant og blir korrigert på deres tale og uttale. I CIR bruker studentene samtale AI, narrativ generasjon, romlig kontekst bevissthet og gest og ansiktsgjenkjenningsteknologi.

CIR er et eksempel på det mangfoldige potensialet for IBM Watson i flere bransjer i tillegg til utdanning. Disse næringene inkluderer landbruk, menneskelige ressurser (HR) og flåtestyring.

Ved RPI bruker studentene Watson Speech to Text, Watson Text to Speech og Language Translator i studiene, i tillegg til Watson Assistant.

Studentene lærer mandarin ved å bruke AI på RPI-campus. (Bildekreditt: IBM Research / RPI)

En aktiv læringsopplevelse

For Julian Wong, junior på RPI, var den oppslukende AI-opplevelsen en tiltalende måte å lære seg mandarin fordi det gir ham en mer aktiv måte å lære på. Fordi Mandarin er et tonalspråk der en endring i tonehøyde kan endre betydningen av ord, gir avatarer i AI-opplevelsen tilbakemelding på tone for å sikre at Wong og de andre studentene får uttalene riktig.

Å jobbe med AI i CIR gir en fin balanse med vanlig klasseromstid, ifølge Wong. "Møte for å snakke med datamaskinen… hjelper definitivt med mange aspekter ved å lære språket, spesielt verbale ferdigheter, " sa Wong.

Wongs Mandarin-klasse møtes fire ganger i uken. På mandager og fredager går han på en klasse i et tradisjonelt klasserom med Helen Zhou, førsteamanuensis ved RPI. Der lærer han nytt ordforråd og får en innføring i fraser og grammatiske strukturer. På tirsdager og torsdager møtes klassen i CIR, der elevene fører samtaler med virtuelle agenter. I et restaurantmiljø sa Wong at studenter kan gå gjennom hele prosessen med å sette seg ned i restauranten, se på en meny, bestille mat, snakke med en servitør om hvordan maten tilberedes og betale regningen. Andre miljøer inkluderer en hage, et marked og en skolecampus.

Mandarin-klassen i det oppslukende klasserommet skiller seg fra et tradisjonelt miljø fordi det gir en multimodal opplevelse av språk og video, ifølge Zhou. Hun sa at en tradisjonell klasse ville være mindre oppslukende og interaktiv. "I simuleringen i det oppslukende klasserommet har vi to agenter til å kjempe med hverandre, for å prøve å overtale studentene til å kjøpe produktet, " sa Zhou. "Så elevene ville forstå av personlig erfaring i stedet for å se på videoer eller kun lytte til forelesninger. Jeg tror de ville plukket opp kulturen lettere enn bare ved å lære fra lærebøker eller lytte til bånd."

I CIR tar studentene spørrekonkurranser relatert til scenene de har interaksert med og løfter hendene for å gi svarene sine. Datasynsteknologi fra kameraene i rommet fanger bevegelsene sine. AI-assistenten gir en quiz relatert til scenen, og studentene må svare med en setning på kinesisk.

"Hvis du vil velge en av popup-vinduene som er på skjermen, kan du holde ut hånden, åpne håndflaten og så lukke hånden, " forklarte Wong. "Du velger hva markøren for øyeblikket er på. For de små quizene, hvis du vet hva det riktige svaret er, kan du flytte hånden over til tegnene du vil velge, og deretter lukke hånden for å velge dem. vil gi deg beskjed om du hadde det riktig eller ikke."

Den virtuelle agenten forstår studentene mesteparten av tiden, bortsett fra når de kanskje ikke har mikrofonen nær munnen. Systemet har forskjellige stemmegjenkjenningsinnstillinger som henter elever hvis de er i gang med uttalen. Det gir også umiddelbar tilbakemelding i en samtale hvis du ikke har en professor til stede. På egen tid går elevene i klassen Mandarin til et nettsted for å få tilgang til stemmeklipp for å øve.

Et kult trekk ved den oppslukende opplevelsen ved RPI er romlig kontekstbevissthet, der flere virtuelle agenter på skjermen kan fortelle hvilken du tar øyekontakt med. "Hvis du sier noe mens du ser på den ene agenten, vil den agenten svare og ikke den andre, " sa Wong.

En student bruker IBM Watson gest og ansiktsgjenkjenningsteknologi som en del av en Mandarin-klasse på RPI. (Bildekreditt: IBM Research / RPI )

Hvordan den oppslukende opplevelsen utviklet seg

Den oppslukende opplevelsen ved RPI kom ble opprettet da språkprofessorer og spilldesignprofessorer møttes for å diskutere en bedre måte å lære språk på. En plan for å utvikle et rollespill spilte snart inn i en diskusjon om hvordan man lærer mandarin gjennom en simulering av virkelige scenarier, ifølge Hui Su, som både er direktør for kognitiv brukeropplevelse hos IBM Research og direktør for CISL. IBM og RPI begynte å utvikle kurset i slutten av 2015, og de etablerte den felles laben på den tiden. CISL tok deretter form kort tid etter.

"Hensikten med laboratoriet er å bygge det kognitive og oppslukende miljøet for å forbedre gruppeaktiviteter, for å styrke gruppens intelligens i sammenheng med læring og beslutningstaking, " sa Su. "Vi fokuserer også på å bygge kognitive oppslukende styrerom… for å se på dataene fra en kritisk situasjon og prøve å gi mening om informasjonen og lage beslutninger eller anbefaling for beslutningstakerne."

Som en del av AI-språkopplæringsprogrammet eksperimenterer IBM og RPI med tonehøydekonturanalyse. Su beskrev hvordan denne teknologien fungerer. "Når du snakker en stavelse, når du uttaler en stavelse, vil den underliggende teknologien fange stemmen, og den genererer en visuell kontur av hvordan du uttaler den stavelsen, " sa Su. "Så bruker den den visuelle konturen og sammenligner den visuelle konturen med en innfødte høyttalers visuelle kontur."

Studentene kan deretter gjøre justeringer i uttalen for å oppnå riktig tone. De vil lære at de trenger å endre uttaler av bestemte stavelser. Med kunnskapen studentene får ved å lære seg mandarin i det oppslukende klasserommet ved hjelp av Watson-teknologi, vil de ha mer selvtillit til å snakke i det virkelige liv, ifølge Su.

"Hele ideen er å gi nok kulturell kontekst gjennom vårt oppslukende miljø og AI-teknologi til at studentene kan øve på en øvelse, " sa Su. "Så de vil ikke ha frykt som å snakke med mennesker i det virkelige liv."

En student praktiserer mandarin i et virtuelt restaurantmiljø ved å bruke IBM Watson-teknologi. (Bildekreditt: IBM Research / RPI )

En bro mellom teknisk industri og akademia

IBM og RPI er i stand til å bygge en bro mellom IBM-forskere og fakultetsmedlemmer, der IBM legger inn en forsker på campus, nemlig Su. I mellomtiden gir Zhou, professoren i klassen ved RPI, også tilbakemeldinger til designerne, brukerne og lærerne om hvordan du kan forbedre den oppslukende opplevelsen i klasserommet.

"Jeg trenger å gi dem umiddelbar tilbakemelding for å feilsøke eller forbedre designen slik at vi kan tilby et mer naturlig klasserom til studentene, " sa Zhou. "Så det er mye arbeid involvert, men det er verdt det."

Future of Language Learning

• Den beste programvaren for språklæring for 2019 Den beste programvaren for språklæring for 2019
• IBM slipper Pretrained Watson AI Tools i flere bransjer IBM slipper Pretrained Watson AI Tools i flere bransjer
• Snakker AI virkelig språket vårt? Snakker AI virkelig språket vårt?

Denne typen oppslukende omgivelser er verdifulle på grunn av muligheten til å gi et tilsynelatende virkelighetsnært miljø, ifølge Zhou. "Det AI-oppslukende miljøet kan ikke bare styrke studentenes tale og lytting, men også pragmatikken ved å bruke det språket i virkelige situasjoner, " sa Zhou. "Derfor er AI mer ideelt for meg som instruktør, slik at elevene kan få en følelse av å bruke språket tidlig, selv for nybegynnerdes elever, uten å reise til landet."

Multimodale læringsmiljøer som de som tilbys ved RPI vil utvide AIs rolle i klasserommet. Med den erfaringen AI gir gjennom de virtuelle agentene, vil studentene være forberedt på å takle ulike scenarier i den virkelige verden med de nødvendige språkferdighetene.