Når skyen er oversvømmet, er det kanten databehandling, ai til unnsetning

Langs kysten av Australias New South Wales (NSW) henger staten en flåte av droner, og hjelper til med å holde vannet trygt. Tidligere i år hjalp dronene livreddere ved statens Far North Coast med å redde to tenåringer som slet med tung surfing.

Dronene er drevet av kunstig intelligens (AI) og maskinvisionsalgoritmer som kontinuerlig analyserer videofeedene deres og fremhever elementer som trenger oppmerksomhet: si, haier eller streite svømmere. Dette er den samme typen teknologi som gjør det mulig for Google Foto å sortere bilder, et hjemmesikkerhetskamera for å oppdage fremmede og et smart kjøleskap for å advare deg når forgjengelige ting er nær utløpsdatoen.

Men selv om disse tjenestene og enhetene trenger en konstant tilkobling til skyen for AI-funksjonene sine, kan NSW-dronene utføre bildedeteksjonsoppgaver med eller uten en solid internettforbindelse, takket være nevrale beregningsbrikker som lar dem utføre beregninger med dyp læring lokalt.

Disse sjetongene er en del av en økende trend med innovasjonssystemer som gjør databehandlingen mulig å utføre minst noen kritiske funksjoner uten en konstant kobling til skyen. Økningen av edge computing er med på å løse nye og gamle problemer og baner vei for neste generasjon smarte enheter.

Unburdening the Cloud

I løpet av de siste to tiårene har skyen blitt den mangelfulle måten å være vert for applikasjoner, med god grunn.

"Det som gjør skyen så attraktiv, er at den har en tendens til å laste av kostnadene for å starte opp all aktivitet du vil utføre, " sier Rob High, CTO for IBM Watson. "Skyen… gjør det mulig for mennesker å… løse reelle problemer i dag uten å måtte gå gjennom kostnadene for å lage infrastruktur."

Med allestedsnærværende internettforbindelse og nesten utallige skylpplikasjoner, tjenester og utviklingsplattformer, har hindringene for å lage og distribuere applikasjoner blitt mindre. De enorme ressursene til skyleverandører som IBM, Google og Amazon har styrket utviklingen ikke bare av trivielle forretningsapplikasjoner, men også av kompleks programvare som krever enorme mengder beregning og lagring - AI- og maskinlæringsalgoritmer samt streaming og AR (augmented reality) applikasjoner.

Men disse fremskrittene har også skapt en utfordring: De fleste applikasjonene vi bruker kan ikke fungere med mindre de er koblet til skyen. Dette inkluderer de fleste applikasjoner som kjører på datamaskiner og telefoner, så vel som programvaren i kjøleskap, termostater, dørlåser, overvåkningskameraer, biler, droner, værsensorer og så videre.

Med bruk av tingenes internett (IoT) kjører stadig flere enheter programvare og genererer data, og de fleste av dem vil kreve en kobling til skyen for å lagre og behandle disse dataene. Mengden kraft og båndbredde som kreves for å sende disse dataene til skyen, er enorm, og plassen som trengs for å lagre dataene vil utfordre ressursene til selv de kraftigste skyskyemothene.

"Det er mye data vi samler inn i disse systemene, enten det er på kanten, eller det er en IoT-enhet, eller noe annet sted, som du nesten kan bestemme deg for å ikke bry deg om, " sier High. Men hvis enhver beslutning må skje i skyen, må alle data sendes over nettverket til skyservere for å bli skrubbet og filtrert.

Som eksempel nevner High moderne fly, som inneholder hundrevis av sensorer som overvåker jetmotorer og samler hundrevis av gigabyte med status- og ytelsesdata under hver flyging. "Hvor mye av disse dataene betyr egentlig hvis du vil analysere dem over et aggregat? Sannsynligvis bare en brøkdel av den, " sier High. "Hvorfor ikke bare bli kvitt det ved kilden når det ikke er nødvendig for noe annet du gjør?"

Å gjøre det High antyder utenfor skyen, var tidligere alt annet enn umulig, men fremskritt i systemer med lav effekt og SoC-prosessorer med lave kostnader har gitt kantenheter mer datakraft og latt dem bære noe av beregningsbyrden til økosystemer, for eksempel å utføre sanntidsanalyse eller filtrere data.

"Det er så mye data i kantmiljøet, det er fornuftig å bringe noen av skyberegningsmulighetene inn i beregningskapasiteten til kantenheten, " sier High.

Bekymringer om personvern

Fordelene med databehandling er ikke begrenset til å frigjøre skyressurser.

Remi El-Ouazzane, New Technology Group og daglig leder i Movidius (Intel), siterer kommersielle sikkerhetskameraer som et annet eksempel på når edge computing kan utgjøre en stor forskjell. Du ser disse kameraene i trafikklys, på flyplasser, og ved inngangen til bygninger, og spiller inn og streamer video av høy kvalitet over hele nettet døgnet rundt.

"Jo mindre data du trenger for å hente tilbake til en server eller datasenter, jo mer skrubbing og finessering du kan gjøre lokalt, jo bedre blir de samlede eierkostnadene fra et lagrings- og overføringsperspektiv, " sier El-Ouazzane.

Dette betyr å gi kameraer makten til å analysere sine egne videomater, bestemme hvilke bilder eller lengder av video som krever oppmerksomhet, og bare sender dataene til serveren.

Når disse kameraene er installert i hjemmet, kontoret eller et hvilket som helst privat sted, blir tilkoblingen til skyen også et potensielt sikkerhetsproblem. Hackere og sikkerhetsforskere har vært i stand til å kompromittere forbindelsen mellom hvitevarer og deres nettsky-servere for å avskjære sensitive videomater. Ved å parse dataene lokalt unngår du behovet for en videokanal mellom hjemmet, privatlivet ditt og en tjenesteleverandør.

Movidius, som ble anskaffet av Intel i 2016, er en av flere startups som gjør datamaskinbrikker spesialiserte for AI-oppgaver som talegjenkjenning og datorsyn. Selskapet produserer Vision Processing Units (VPUs) - lavkraftprosessorer som kjører nevrale nettverk som analyserer og "forstår" konteksten til digitale bilder uten å måtte sende dem tilbake til skyen.

Movidius Myriad 2 er en alltid-på-visjonsprosessor laget for strøm-begrensede miljøer.

"Når kameraet forstår semantikken i hva det ser på, blir evnen til å innføre regler for hva kameraet kan gjøre eller ikke kan gjøre en veldig enkel oppgave, " sier El-Ouazzane. "Du trenger ikke å fange stuen din i løpet av de neste 12 timene bare for å vite at hunden din på et gitt tidspunkt krysset teppet foran sofaen."

Andre selskaper undersøker bruken av spesialisert AI-drevet edge computing for å bevare brukernes personvern. Apple iPhone X, for eksempel, drives av A11 Bionic-brikken, som kan kjøre AI-oppgaver lokalt, slik at den kan utføre komplisert ansiktsgjenkjenning uten å sende brukerens mugshot til skyen.

Mer AI-behandling i utkanten kan bane vei for desentralisert kunstig intelligens, der brukerne må dele mindre data med store selskaper for å bruke AI-applikasjoner.

Å redusere latens

Et annet problem med store nettskyleverandører er at datasentrene deres ligger utenfor store byer, og plasserer dem hundre og tusenvis av kilometer unna menneskene og enhetene som bruker applikasjonene sine.

I mange tilfeller kan forsinkelsen forårsaket av data som reiser til og fra skyen gi dårlige resultater, eller verre, fatale resultater. Dette kan være en drone som prøver å unngå kollisjoner eller lande på ujevn grunn, eller en selvkjørende bil som prøver å avgjøre om den løper inn i et hinder eller en fotgjenger.

Movidius 'lette implementering av dype nevrale nettverk og datasyn gjør at brikkene er egnet for mobile kantenheter som droner, for hvilke strømkrevende maskinvare som GPU-er ikke er mulig. Droner er en spesielt interessant studie, fordi de trenger tilgang til lav latens til AI-beregning og må fortsette å fungere i offline innstillinger.

Bevegelsesdeteksjon som et annet område der edge computing er med på å forbedre droneopplevelsen. "Målet er å gjøre droner tilgjengelige for mange mennesker, og gest ser ut til å være en fin måte for folk å bruke dem på. Latency betyr noe når du gestonerer dronen for å utføre noen oppgave, " sier El-Ouazzane.

For oppstarter som Skylift Global, som tilbyr tungvektsdrone-tjenester til redningsarbeidere og første respondere, kan tilgang til AI og beregne ressurser med lav latens spare penger og liv. "Det vil redusere inntakskostnader for data betydelig, redusere nettverksforsinkelse, øke sikkerheten og bidra til å gjøre streaming av data til sanntidsbeslutninger, " sier Amir Emadi, administrerende direktør og grunnlegger av Skylift.

Å levere forsyninger til de første som svarer, krever avgjørelser i et sekund. "Jo mer tid som går, for eksempel for å bekjempe et ildsted, desto dyrere blir det å avhjelpe situasjonen. Når dronene våre blir i stand til å ta sanntidsbeslutninger i utkanten, selv når de mister tilkoblingen, vil vi kunne spare mer lever, penger og tid, "sier Emadi.

Andre domener som trenger nær-sanntidsberegning, er augmented- og virtual reality-applikasjoner og autonome kjøretøy. "Dette er erfaringsbaserte databehandlingsmiljøer. De kommer til å skje rundt menneskene, " sier Zachary Smith, administrerende direktør i Packet, en oppstart i New York med fokus på å gjøre det mulig for utviklere å få tilgang til distribuert maskinvare.

Et AR- eller VR-program som ikke kan følge med brukerens bevegelser vil enten forårsake svimmelhet eller forhindre at opplevelsen blir oppslukende og ekte. Og forsinkelse vil være enda mer et problem når selvkjørende biler, som er avhengige av datamaskinvisjon og maskinlæringsalgoritmer, blir mainstream.

"En 30-millisekunders forsinkelse vil ikke ha noe å gjøre for å laste inn hjemmesiden din, men vil virkelig bety at en bil bestemmer 60 km / h om den skal svinge til venstre eller høyre for å unngå å krasje i en liten jente, " sier Smith.

Møt utfordringene fra kanten

Til tross for behovet for å bringe databehandlingen nærmere kanten, er spesialisering av maskinvare på alle enheter kanskje ikke det endelige svaret, erkjenner Smith. "Hvorfor ikke bare sette alle datamaskinene i bilen? Jeg tror det virkelig har å gjøre med utviklingen av hvor raskt du kan kontrollere livssyklusen til det, " sier han.

"Når du setter inn maskinvare i verden, blir den vanligvis der i fem til ti år, " sier Smith, mens teknologien som driver disse erfaringsbaserte brukssakene utvikler seg hvert sjette til tolvte år.

Selv veldig store selskaper med kompliserte forsyningskjeder sliter ofte med å oppdatere maskinvaren. I 2015 måtte Fiat Chrysler huske 1, 4 millioner kjøretøy for å fikse et sikkerhetsproblem som ble utsatt fem år tidligere. Og den gigantiske chipsmakeren Intel rusler fortsatt for å takle en designfeil som utsetter hundrevis av millioner enheter for hackere.

Movidius El-Ouazzane erkjenner disse utfordringene. "Vi vet at vi hvert år må bytte ut en rekke produkter, fordi vi hvert år skal bringe mer intelligens på kanten, og vi vil be kundene våre oppgradere, " sier han.

For å unngå konstante tilbakekallinger og for å la kundene bruke langsiktig maskinvare, pakker Movidius prosessorene sine med ekstra ressurser og kapasitet. "Vi trenger muligheten for de neste årene å utføre oppgraderinger på disse produktene, " sier El-Ouazzane.

Packet, Smiths selskap, bruker en annen tilnærming: Den lager mikrodatasentre som kan distribueres i byer, nærmere brukerne. Selskapet kan da gi utviklere databehandlingsressurser med svært lav latens - så nær du kan komme til brukere uten å sette faktisk maskinvare på kanten.

"Det er vår tro at det vil være behov for en mekanisme for levering av infrastruktur for å sette inn maskinvare som utviklere i hver by i hele verden kan få tilgang til, " sier Smith. Selskapet opererer allerede på 15 steder og planlegger å etter hvert utvide seg til hundrevis av byer.

Men Packets ambisjoner går lenger enn å lage miniatyrversjoner av de viltvoksende fasilitetene som drives av Google og Amazon. Som Smith forklarer, er det ikke mulig å bruke og oppdatere spesialisert maskinvare med den offentlige skyen. I Packets forretningsmodell distribuerer produsenter og utviklere spesialisert maskinvare ved selskapets edge datasentre, hvor de raskt kan oppdatere og oppdatere den når behovet oppstår, samtidig som de også sørger for at brukerne deres får rask tilgang til databehandlingsressurser.

Hatch, en av Packets kunder, er en spin-off fra Rovio, det mobile spillselskapet som opprettet Angry Birds. Selskapet kjører Android på edge-computing-servere for å tilby lav latens-flerspillers-streamingtjenester til brukere med avanserte Android-enheter.

"trenger ganske spesialiserte ARM-servere i alle disse markedene rundt om i verden, " sier Smith. "De har tilpassede konfigurasjoner av vårt tjenestetilbud, og vi setter det i åtte globale markeder over hele Europa, og snart vil det være 20 eller 25 markeder. Det føles som Amazon for dem, men de får kjøre tilpasset maskinvare i hvert marked i Europa.."

Teoretisk sett kunne Hatch gjøre det samme i den offentlige skyen, men kostnadene ville gjøre det til en ineffektiv virksomhet. "Forskjellen er mellom å sette 100 brukere per CPU mot å sette inn 10.000 brukere per CPU, " sier Smith.

Smith tror denne modellen vil appellere til utviklergenerasjonen som vil drive de neste programvareinnovasjonene. "Det vi fokuserer på, er hvordan du kobler programvaregenerasjonen, mennesker som vokste opp i skyen, med spesialiserte primitiver for maskinvare, " sier Smith. "Vi snakker om brukere som ikke en gang kan åpne MacBook-en for å se på seg, og det er personen som kommer til å innovere på maskinvare- / programvarestakken."

Vil skyene spre?

Når skyenheter blir i stand til å utføre kompliserte beregningsoppgaver, er skyens fremtid i fare?

"For meg er edge computing en naturlig og logisk neste progresjon av cloud computing, " sier IBM Watsons High.

Faktisk, i 2016, rullet IBM ut et sett med verktøy som lar utviklere sømløst fordele oppgaver mellom kanten og skyen, spesielt i IoT-økosystemer, der kantenheter allerede samler mye data om sitt nærmiljø. Og i slutten av 2016 kunngjorde Amazon Web Services, en annen stor skyutviklingsplattform, Greengrass, en tjeneste som gjør det mulig for IoT-utviklere å kjøre deler av skyapplikasjonene sine på sine kantenheter.

Ingenting av dette betyr at skyen forsvinner. "Det er bare mange ting som er bedre gjort i skyen, selv når det fortsatt jobbes mye på kanten, " sier High. Dette inkluderer oppgaver som å samle data fra mange forskjellige kilder og gjøre storstilt analyse med enorme datasett.

"Hvis vi trenger å lage modeller i AI-algoritmene som vi bruker i disse kantenhetene, er fremdeles et veldig massivt beregningsintensivt problem å opprette og trene disse modellene, og ofte krever datakapasitet som langt overstiger det som er tilgjengelig på disse kantenhetene." sier.

El-Ouzzane er enig. "Evnen til å trene AI-modeller lokalt er ekstremt begrenset, " sier han. "Fra et dypt læringssynspunkt har opplæringen bare ett sted å sitte, og det er i skyen, der du får nok beregningsressurser og nok lagringsplass til å kunne takle store datasett."

El-Ouazzane-bestemmelser bruker også tilfeller der kantenheter blir tildelt oppdrags- og tidskritiske oppgaver, mens skyen tar seg av den mer avanserte inferencing som ikke er latensavhengig. "Vi lever i en verden av kontinuitet mellom skyen og kanten."

"Det er et veldig symbiotisk og synergistisk forhold mellom edge computing og cloud computing, " sier High.