Kognitive og konversasjonsverktøy er sentralt i microsoft build

Det som overrasket meg mest på Microsoft Build-konferansen denne uken var vektleggingen av kognitive og samtaletjenester, da Microsoft rullerte ut sin visjon for hvordan slike tjenester vil transformere applikasjoner i fremtiden, og prøvde å overbevise utviklere om å komme om bord med denne visjonen.. Mye av det vil ikke være synlig for sluttbrukere før senere - de største funksjonene for sluttbrukere for nå vil være forbedringer av Cortana personlig assistent og nye blekkfunksjoner i "Jubileumsutgaven" av Windows 10 som kommer ut i sommer. Men presset for å sikre at Microsoft følger med sine rivaler innen maskinlæring, intelligente agenter og meldingsapper er mer rettet mot utviklere for nå, siden selskapet allerede har grunnleggende applikasjoner, men trenger et økosystem for å gjøre dem mer imponerende.

Det største nye temaet introdusert av administrerende direktør Satya Nadella var "samtaler som en plattform", som ser ut til å innebære å ta samtaleplattformer - fra Cortana til Skype til tredjepartsapplikasjoner - og legge til intelligens til dem. Tanken er å legge til forståelse, preferanser og spesielt kontekst til slike applikasjoner.

Han sa at det er tre hovedaktører i slike samtaler: mennesker, digitale assistenter og roboter. Fra person til side snakket han om applikasjoner som Skype Translate, som prøver å muliggjøre bedre samtaler på flere språk. En digital assistent, sa han, vil vite om deg på flere enheter og kan hjelpe deg med daglige oppgaver, for eksempel å planlegge avtaler. Bots er nye applikasjoner som du kan snakke med på naturlig språk, og han snakket om en visjon der du kan ringe bots i en samtale.

Alt dette leder mot en ny plattform, sa han, der menneskerspråk blir brukergrensesnittet, bots blir de nye applikasjonene, og digitale assistenter er som "meta-apper", for eksempel nettleseren, som delvis eksisterer for å ringe andre applikasjoner, med alle disse applikasjonene inkludert intelligens. Han sa at dette kom til å bli like stort av en plattformendring som GUI, Web eller berøring på mobil.

Nadella snakket om hvordan visjonen var "ikke menneske kontra maskin, men snarere mann med maskiner, " med mennesker som gir empati, følelser og dommer, og maskiner som leverer beregningskraft. Men han sa at det var viktig å ha en "prinsipiell tilnærming" til maskinlæring, og bruke den til å styrke menneskelige evner og opplevelser, være pålitelig (når det gjelder personvern, sikkerhet og etterlevelse), inkluderende og respektfull.

På det siste punktet sa han at det var viktig at slike applikasjoner representerer "det beste for menneskeheten, ikke det verste, " og pekte på Tay, Microsofts mislykkede eksperiment med å introdusere en chat-bot i forrige uke, som måtte tas ned en dag senere da det begynte å gjenta støtende kommentarer. Nadella innrømmet at selskapet tok det feil, og sa "vi skjønte raskt at det ikke var opp til merket, " men sa at selskapet vil fortsette å inkubere slike teknologier, og bemerket at roboter i Kina og Japan ikke har hatt de samme problemene.

Blant de nye detaljene er Cortana som kommer til Outlook, slik at den bedre kan forstå e-post, kontakter og kalender, og gjøre ting som omplanlegg avtaler - en god, om ikke helt ny idé - og kunne foreslå ting du kanskje vil gjøre neste basert på kalenderen, e-posten eller samtalene du har hatt. Og en ny versjon av Skype nå tilgjengelig legger til støtte for Cortana og kan støtte bots i videochattene sine, for å gjøre ting som å transkribere korte videosamtaler og være tilgjengelig for alle slags tjenester. Microsoft kalte dette ved hjelp av Skype som et "samtale-lerret." Også dette ser ikke ut til å være en ny idé - ting som WeChat og Facebook Messenger har hatt bots i lang tid - men det viser hvordan Microsoft prøver å gjøre dette til en plattform. Den viser også hvordan dette kan fungere på tvers av plattformer, med demonstrasjonen som starter på en Windows-PC og avslutter i Skype på en Android-telefon.

Men de fleste av de virkelige nyhetene ser ut til å være i nye tilbud for utviklere, med det som nå er kjent som Cortana Intelligence Suite (tidligere Cortana Analytics Suite, et godt eksempel på hvilke vilkår som er varme i et gitt år).

Dette er effektivt en kjøretid bygget på Azure-plattformen som inkluderer et botrammeverk, kognitive tjenester og maskinlæring.

Botrammen gjør det lettere å lage en bot eller koble en til andre tjenester. Utviklere kan lage disse i node.js eller C #, og en demo involvert å lage en bot som bestiller pizza fra Domino's. Det jeg syntes var mest interessant her, er at det er ment å være en åpen ramme, med roboter som kan fungere ikke bare innenfor Cortana og Skype, men også Slack, Telegram, enkel SMS og andre tjenester. Noen av de mest interessante alternative tjenestene var selvfølgelig ikke på den listen - inkludert Apples Siri, Amazons Alexa, eller Facebooks Messenger eller WhatsApp.

En annen demonstrasjon viste hvordan noen kommende verktøy vil gjøre det lettere for utviklere å legge til eller endre regler for bots og deres forståelse av det naturlige språket. Det kan foreslå andre ord folk kan bruke som har lignende betydninger, bruke maskinlæringsbasert naturlig språkforståelse for å forbedre ordforrådet over tid, eller overlate forespørsler til en menneskelig assistent hvis boten ikke forstår hva de skal gjøre.

Til slutt introduserte selskapet et mye større sett med kognitive tjenester, og flyttet opp til 22 forskjellige tjenester fra 5 i fjor. Disse tjenestene dekker et bredt spekter av scenarier, inkludert objektgjenkjenning, tale, kunnskap og søk. Et eksempel involverte en billedtekstbot som legger til bildetekster til bilder, ved å bruke en kombinasjon av objektgjenkjenning pluss naturlig språk. Et annet verktøy kalt CRIS (Custom Recognition Intelligence Service) så ut til å gjøre en langt bedre jobb med å konvertere tale til tekst enn konvensjonelle metoder. Til slutt demonstrerte de ved hjelp av verktøyene for å gjøre analyser på Twitter-feeds, prøveprofilbilder for å bestemme plakatens alder og kjønn.

Selvfølgelig kunngjorde Microsoft en rekke andre verktøy som også er rettet mot utviklere, noe som gjorde et spesielt press på at Windows skulle være plattformen de bruker for å utvikle applikasjoner uavhengig av plattform. Det mest overraskende av disse nye verktøyene - i det minste inntil ryktene forrige uke - er tillegg av BASH-skallet fra Linux, men andre verktøy inkluderer en desktop app-konverter for å flytte tradisjonelle Win32 desktop-applikasjoner til nye Universal-apper; et stort trykk for Xamarin kryssutviklingsverktøy, som antyder at utviklere kan lage kjernen i en plattformsapplikasjon og de spesifikke endringene for hvert miljø, inkludert Android og iOS så vel som Windows, alt på en Windows-plattform.

I tillegg viste Microsoft frem "dev mode", et verktøy for å gjøre en Xbox One om til en utviklerplattforms maskin, som sendes i dag; og sa at den første versjonen av HoloLens også var tilgjengelig for utviklere fra og med i dag.

Nadella begynte morgenen med å snakke om hvordan vi nå ser mer diskusjon om teknologiens rolle i samfunnet vårt, fordi teknologi har blitt mainstream og innebygd i våre daglige liv, selskaper og økonomier. Han sa at det var spørsmål om teknologi driver økonomisk vekst for alle, eller om økonomisk vekst har holdt seg til tross for teknologiutgifter; hvis er det muliggjør jobber eller fortrenger dem; og hvis det muliggjør eller kommer i veien for å tåle verdier, for eksempel personvern.

"Jeg er optimist, " sa han og tro på at teknologi kan drive økonomisk vekst over hele verden, kan styrke oss i hverdagen og kan støtte vår varige verdi. For å gjøre dette, sa han, må vi sørge for at vi bruker teknologi på måter som muliggjør dette, og fører det tilbake til Microsofts nåværende oppgave for å "gi hver person og enhver organisasjon på planeten mulighet til å oppnå mer." Dette, sa han, må starte med utviklere.

Han avsluttet hovednotatet med en video som viste hvordan Saqib Shaikh, en blind utvikler hos Microsoft, har vært i stand til å bruke kognitive teknikker med Pivothead smartbriller for å få informasjon om verden rundt ham. Eksempler inkluderer å høre folk som lekte i en park, og sveipe brillene hans for å høre at det var en ung jente som kastet en frisbee. Dette er bare et forskningsprosjekt nå, men det var ganske inspirerende, og Nadella brakte utvikleren inn på scenen.

For meg så jeg grunntonen som et grep mot å etablere nye plattformer basert på maskinlæring og på bots, samt en erkjennelse av at Microsoft så vellykket som Windows har vært, langt fra er dominerende i skyen, og i utgangspunktet har tapt kampen å bli en viktig mobiltelefonplattform. (Faktisk, bare en demo av hele hovednotatet ble gjort på Windows Phone, og det var en Skype-demo som kunne vært gjort på Android like enkelt.) Ikke overraskende ser Microsoft fremover til neste plattform - der, selvfølgelig vil den møte både tradisjonelle og nye konkurrenter.