Mobilprosessorer fra 2018: økningen av maskinlæringsfunksjoner

Ikke overraskende har årets smarttelefoner raskere prosessorer enn de fra i fjor - det skjer hvert år. Men det som er nytt i år, er overvekten av maskinlæringsfunksjoner som omtrent alle prosessorleverandører touter som en måte å differensiere enhetene sine. Dette gjelder for telefonprodusentene som designer sine egne brikker, de uavhengige leverandørene eller selgerbrikkeleverandørene som selger prosessorer til telefonselgere, og til og med IP-produsenter som designer kjernene som går inn i prosessorene selv.

Bakgrunn

Først litt bakgrunn: alle moderne applikasjonsprosessorer inkluderer design (ofte referert til som åndsverk, eller IP) fra andre selskaper, særlig firmaer som ARM, Imagination Technologies, MIPS og Ceva. Slik IP kan vises i forskjellige former - for eksempel selger ARM alt fra en grunnleggende lisens for sin 32-biters og 64-bitersarkitektur, til spesifikke kjerner for CPUer, grafikk, bildebehandling osv., Som brikkeutviklere deretter kan bruke til å lage prosessorer. Vanligvis blander og matcher chipdesignere disse kjernene med egne design, og tar forskjellige valg med hensyn til minne, sammenkoblinger og andre funksjoner, i et forsøk på å balansere ytelse med strømbehov, størrelse og pris.

På CPU-fronten har de fleste brikkene en kombinasjon av større kjerner som er kraftigere og kjører raskere og varmere, og mindre kjerner som er mer effektive. Vanligvis vil telefoner bruke de mindre kjernene mesteparten av tiden, men for krevende oppgaver vil de bytte til kjernene med høyere ytelse og bruke en kombinasjon av både kjerner og GPU og andre kjerner for å best mulig håndtere ytelsesbehov og termiske hensyn (du kan ikke kjør høykvalitetskjernene veldig lenge, fordi de ville overopphetes, og vanligvis trenger du ikke). De mest kjente eksemplene for de store kjernene er ARMs Cortex-A75 og A73 kjerner; de matchende mindre kjernene ville være A55 og A53. I dagens high-end telefoner vil du ofte se fire av hver, i det som er kjent som en octa-core layout, selv om noen leverandører har tatt andre tilnærminger.

For grafikk er det mer mangfoldighet, med noen leverandører som velger ARMs Mali-linje, andre velger Imagination Technologies 'PowerVR, og fortsatt andre velger å designe sine egne grafikkjerner. Og det er enda mer mangfoldighet når det gjelder ting som bildebehandling, digital signalbehandling og sent på AI-funksjoner.

eple

Apple begynte å skyve AI-funksjonene i høsttelefonmeldingene, inkludert spesielt "A11 Bionic" -brikken som ble brukt i iPhone 8 og 8 Plus, samt iPhone X.

A11 Bionic er en seks-kjerners arkitektur, med to høyytelseskjerner og fire effektivitetskjerner. Apple designer sine egne kjerner (under en ARM-arkitekturlisens), og har tradisjonelt presset entrådig ytelse. Dette er et skritt opp fra den fire-kjernede A10 Fusion, og Apple sa at ytelseskjernene i A11 er opptil 25 prosent raskere enn i A10, mens de fire effektivitetskjernene kan være opptil 70 prosent raskere enn A10 Fusion-brikken. Den sa også at grafikkprosessoren er opptil 30 prosent raskere.

Apple snakker om at brikken har en dual-core "Neural Engine", som kan hjelpe med scenegjenkjenning i kameraappen, og Face ID og Animoji på iPhone X. Selskapet ga også ut et API kalt CoreML, for å hjelpe tredjeparter utviklere lager applikasjoner som drar nytte av dette.

Apple gir vanligvis ikke mye informasjon om prosessorene sine, men sier at A11 Bionic nevrale motor er en dual-core design som kan utføre opptil 600 milliarder operasjoner per sekund for sanntids prosessering.

I motsetning til de fleste andre prosessorprodusenter, integrerer ikke Apple modemet i applikasjonsprosessorene, og bruker i stedet frittstående Qualcomm- eller Intel-modemer. Det har vært en del kontroverser om Apple bare støtter funksjonene i Qualcomm-modemene som også støttes av Intel; i praksis betyr dette at iPhones støtter 3-veis bærersamling, men ikke noen av de mer avanserte funksjonene.

Huawei

Huawei var også tidlig ute av AI-push, og kalte Kirin 970, som den kunngjorde på IFA-showet i fjor høst, "verdens første mobile AI-prosesseringsenhet." Kirin 970 brukes akkurat nå i Huawei Mate 10. Den inkluderer fire Cortex-A73 CPU-kjerner som kjører på opptil 2, 4 GHz og fire A53-er som kjører på opptil 1, 8 GHz, sammen med ARMs Mali G72 MP12 GPU.

Det som er spesielt nytt i 970, er det Huawei kaller NPU, eller nevrale prosesseringsenhet. Selskapet har sagt at oppgavene som kan lastes ned til denne prosessoren kan se 25 ganger ytelsen og 50 ganger effektiviteten i forhold til de som kjører på CPU-klyngen. Dette er spesielt rettet mot raskere bildegjenkjenning og bedre fotografering. På showet sa Huawei at telefonen kan behandle 1, 92 16-biters TeraFLOP-er.

Kirin 970 har en dual-image signalprosessor, et kategori 18 LTE-modem med 5-bærer-aggregering og 4-by-4 MIMO som skal muliggjøre en maksimal nedlastingshastighet på 1, 2 Gbps.

På Mobile World Congress kunngjorde Huawei sitt første 5G-modem, Balong 5G01, som det sa at ville være det første 5G-modemet som ble sendt. Det ser ut til at noen fremtidige applikasjonsprosessorer vil ta i bruk dette modemet, men det er ikke blitt kunngjort ennå. Teknisk er alle disse produktene opprettet av firmaets HiSilicon-datterselskap.

Qualcomm

Chippen som sannsynligvis vil være kjernen i de fleste av flaggskipets Android-telefoner i USA i år, er Qualcomms Snapdragon 845. Dette er en oppgradering av Snapdragon 835, som ble brukt i de fleste av 2017s premium Android-telefoner, og er allerede brukt i de nordamerikanske versjonene av Galaxy S9.

I likhet med de fleste andre leverandører, skyver Qualcomm nevrale nettverk og AI som et av de største forbedringsområdene i årets brikke, sammen med økt fokus på "fordypning" - som egentlig betyr bedre avbildning.

I AI-området liker Qualcomm å snakke om å ha en multi-core Neural Processing Engine (NPE), som bruker en ny versjon av Hexagon DSP, så vel som CPU og GPU for inferencing.

Brikken har Hexagon 685 DSP, som Qualcomm sier kan mer enn doble AI-prosesseringsytelsen; en Kryo 385 CPU, som den sier gir en ytelsesøkning på 25 til 30 prosent for ytelseskjernene sine (fire ARM Cortex-A75 kjerner som kjører på opptil 2, 85 GHz), og opptil 15 prosent ytelsesøkning for sine "effektivitetskjerner (fire Cortex-A55 kjerner som kjører på opptil 1, 8 GHz), og alle deler en 2MB L3-cache; og en Adreno 630 GPU, som Qualcomm sier vil støtte en ytelsesforbedring på 30 prosent eller 30 prosent strømreduksjon, samt opptil 2, 5 ganger raskere skjermer.

I AI-området støtter brikken et stort antall forskjellige maskinlæringsrammer, og selskapet sier at dette fungerer for ting som objektklassifisering, ansiktsgjenkjenning, scenesegmentering, høyttalergjenkjenning og etc. To uthevede applikasjoner er live bokeh-effekter (for å produsere portretter med uskarp bakgrunn) og aktiv dybdesensering og strukturert lys, noe som skal gi forbedret ansiktsgjenkjenning. Ved å flytte inferencing fra skyen til enheten, sier Qualcomm at du får fordelene med lav latenstid, personvern og forbedret pålitelighet.

I avbildningsområdet har brikken en ny versjon av Qualcomms Spectra ISP, forbedret Ultra HD-videoopptak med flerramme-støyreduksjon, muligheten til å fange 16-megapiksler video ved 60 bilder per sekund, og 720p sakte-mo-video på 480 bilder per sekund. For VR støtter 845 skjermer med en 2K-by-2K-oppløsning på 120 bilder per sekund, et stort steg opp fra 1.5K-by-1.5K ved 60 bilder per sekund støttet av 835.

Andre funksjoner inkluderer en sikker prosesseringsenhet, som bruker sin egen kjerne for å lagre sikkerhetsinformasjon utenfor kjernen, og som fungerer med CPU og Qualcomms TrustZone-evne.

845 integrerer X20-modemet som Qualcomm introduserte i fjor, som er i stand til å støtte LTE-kategori 18 (med hastigheter opp til 1, 2 Gbps), opptil 5 bærersamling og 4X4 MIMO, og bruker teknikker som lisensiert assistert tilgang for å gjøre raskere hastigheter mulig i flere områder.

Brikken er produsert på Samsungs 10nm laveffektprosess.

Qualcomm lager også Snapdragon 600-familien av applikasjonsprosessorer, ledet av 660, som brukes av mange kinesiske leverandører, inkludert Oppo og Vivo. I forkant av Mobile World Congress introduserte den Snapdragon 700-familien, som har mange av de samme funksjonene som 800-familien, inkludert Hexagon DSP, Spectra ISP, Adreno-grafikk og Kryo CPU. Sammenlignet med 660, sier Qualcomm at den vil tilby en to ganger forbedring i AI-applikasjoner på enheten, og en 30 prosent forbedring i effektivitet.

Samsung

Mens den bruker Qualcomm-prosessorer i de fleste av sine nordamerikanske telefoner, bruker Samsung i mange andre markeder sine egne Exynos-prosessorer, og begynner å gjøre slike prosessorer tilgjengelige for andre telefonprodusenter.

Den nye topp-of-the-line er Exynos 9810, som Samsung vil bruke i internasjonale versjoner av Galaxy S9 og S9 +.

Igjen skyver Samsung nye funksjoner for "dyp læringsbasert programvare", som den sier hjelper prosessoren med å identifisere gjenstander eller personer på telefonene nøyaktig, og støtter dybdesans for ansiktsgjenkjenning.

9810 er også en octa-core chip, med fire A55 kjerner for effektivitet og fire tilpassede CPU-design for ytelse. Samsung sier at disse nye kjernene, som kan kjøre på opptil 2, 9 GHz, har en bredere rørledning og optimalisert hurtigminne, noe som gir dem dobbelt så enkeltkjerneprestasjon og 40 prosent mer flerkjerneprestasjoner sammenlignet med forgjengeren i fjorårets 8895. (Publiserte benchmarks viser forbedringer i den virkelige verden, men ikke så mye som hevdet; jeg er fortsatt skeptisk til alle de mobile benchmarkene på dette tidspunktet.)

Andre funksjoner inkluderer Mali-G72 MP18-grafikk, støtte for opptil 3840 by-2400 skjermer og 4096-by-2160 skjermer, en dual image signal processor (ISP), og støtte for 4K-fange med 120 bilder per sekund. 9810 har også et kategori 18-modem med 6 transportør-aggregering og 4-by-4 MIMO for nedlink (2 CA for uplink), med maksimal nedlastingshastighet på 1, 2 Gbps og opplastinger på 200 MB. På papiret stemmer dette med kategorien 18-modemene som både Qualcomm og Huawei har i sine nåværende toppchips. I likhet med Snapdragon 845 er den produsert på Samsungs andre generasjon 10nm FinFET-prosess.

MediaTek

MediaTek har vært mer en aktør innen mellomtelefoner og under, og forrige måned introduserte en ny brikke kalt Helio P60 rettet mot "New Premium" -markedet-mid-market telefon i $ 200- $ 400-serien som tilbyr alt av grunnleggende funksjoner på høyere telefoner. Den første telefonen som kunngjøres som vil bruke denne brikken, er Oppo R15.

Selskapets toppprosessor, som ble annonsert i fjor, er Helio X30, som er en deca-core prosessor rettet mot premiumtelefoner. Dette inkluderer to ARM Cortex-A73 CPU-kjerner som kjører på opptil 2, 5 GHz, fire Cortex-A53-kjerner som kjører på opptil 2, 2 GHz, og fire A35-kjerner som kan kjøre på opptil 1, 9 GHz, sammen med Imaginations PowerVR-serie 7XT Plus-grafikk på 800 GHz og et LTE-kategori 10-modem som er i stand til 3-bærersamling på nedlinken. Det er en interessant brikke, produsert på TSMCs 10nm-prosess, og skyver ideen om at flere kjerner kan være mer fleksible. Blant telefonene som er annonsert som bruker dette, er Meizu Pro 7 Plus med doble skjermer, og Vernee Apollo 2 (8MP foran kamera, 16MP + 13MP bakkameraer).

I fjor kunngjorde MediaTek to midtmarkedsprocessorer, Helio P23 og P30, rettet mot globale markeder og Kina spesifikt, hver med åtte Cortex-A53 kjerner som kjører på 2, 53 GHz, og Mali G71 MP2-grafikk. Dette er sjetongene som P60 er designet for å erstatte, og tilbyr mer kraft og muliggjør en serie nye funksjoner.

P60 tilbyr mer ytelse, og er en retur til den store LITLE konfigurasjonen ARM og MediaTek presset i tidligere år, og kombinerer fire av de kraftigere ARM Cortex-A73 på opptil 2, 0 GHz med fire av de mer effektive Cortex-A53 kjerner, også ved 2, 0 GHz. Disse er sammen med en ARM Mali G72 NMP3 GPU på opptil 800 MHz, og styres alle av den fjerde versjonen av MediaTeks CorePilot-teknologi for planlegging der oppgavene kjøres. Sammenlignet med P23 og P30, sier MediaTek at P60 tilbyr en ytelsesforbedring på 70 prosent i både CPU og GPU-operasjoner.

MediaTek kommer også på AI-båndet, med P60 inkludert NeuroPilot-plattformen for akselerasjon av nevralt nettverk. Dette støtter Google Android Neural Network (NN) og de vanlige AI-rammene, inkludert TensorFlow, TensorFlow Lite, Caffe og Caffe 2. Dette er effektiv en spesialisert digital signalprosessor som er i stand til 280 GMAC-er (milliarder av flere akkumulerte operasjoner per sekund). Den er designet for å brukes til ting som ansiktsgjenkjenning for å låse opp en telefon (noe vi har sett på avanserte telefoner, men ikke mellomtelefoner før nå), og objektgjenkjenning, selv i videoer, med 60 bilder per sekund.

I tillegg har P60 en rekke nye bildefunksjoner, inkludert tre bildesensorprosessorer som kan støtte en dual-kamerakonfigurasjon på 16 og 20 MP sensorer eller et enkelt kamera på opptil 32 MP. (Jeg har ennå ikke sett en telefon i produksjon med en kamerasensor med så mange megapiksler, men de kommer visstnok til.) Disse sensorene legger til støyreduserende funksjoner, sammen med sanntids bokeh (uskarpheten i bakgrunnen som brukes i portrettmodus).

Chippen inneholder et modem som støtter nedlasting av kategori 7 (med opptil 300 Mbps) og kategori 13-opplastinger (opptil 150 Mbps med 2 transportør-aggregering). Den er produsert på TSMCs 12nm FinFet-prosess, som selskapet sier hjelper det å levere 25 prosent strømbesparelse for kraftkrevende applikasjoner som spill, og 12 prosent strømsparing totalt sett.

Spreadtrum

Spreadtrum, som gjør at modemer for det meste selges i det kinesiske markedet, kunngjorde et partnerskap med Intel som vil bruke Intels 5G-modem og ARM-kompatible CPU-er. Dette er fremdeles et par år unna, så detaljer er ennå ikke tilgjengelige.

Merk at selv om Spreadtrum ikke er veldig synlig i USA, sporer det bare Qualcomm og MediaTek i handelsmarkedet for applikasjonsprosessorer. Den selger stort sett produkter med ARM-CPUer og sitt eget 4G-modem, men har en avtale med, og er minoritetseid av, Intel. Dette har resultert i en brikke med Intel CPUer og Spreadtrum sitt modem (motsatt av den nye kunngjøringen).

VÆPNE

Det er selvfølgelig ikke bare brikkeprodusentene som ser AI som den neste store bølgen, og selskapene som lager IP har også gjort et stort dytt på dette området.

ARM, den mest suksessrike av IP-produsentene, kunngjorde en pakke med IP for maskinlæring forrige måned, inkludert både maskinvare og programvare, og presset dette på Mobile World Congress.

Dette er kalt Project Trillium, og inkluderer prosessordesign (IP) for både Machine Learning (ML) og Object Detection (OD), sammen med et nytt programvarebibliotek.

ML-prosessoren er designet for å sitte i en applikasjonsprosessor og kjøre ved siden av CPU, GPU og skjermkjernen. Programvarebiblioteket, som er kjent som ARM NN (nevralt nettverk), er designet for å støtte rammer som TensorFlow, Caffe og Android NN. Dette gjør at disse applikasjonene kan kjøre gjennom programvare alene på eksisterende prosessorer som har ARM-prosessorer og grafikk; selv om det selvfølgelig vil bli raskere opp når det kjøres på prosessorer som inkluderer ML-kjerner. Tredjeparts programvare vil også fungere på prosessorkjernen. ARM sier at ML-kjernen ble designet fra grunnen av spesielt for å drive nevrale nettverk. Den kan kjøre både 8 og 16-bit applikasjoner, selv om trenden er å fokusere på 8-bit for enkelhets skyld.

OD-prosessoren er designet for å sitte ved siden av en bildesignalprosessor (ISP), for å gi gjenkjenning av objekter med lav effekt, spesielt for applikasjoner som ansiktsgjenkjenning og sporingsbevegelse. Dette er en dedikert maskinvareblokk designet for å brukes med nye sensorteknologier som stereoskopiske kameraer.

ARM sa at den nye IP-en vil være tilgjengelig for forhåndsvisning av utviklere i april og vil være generelt tilgjengelig senere i år, men gitt en typisk tidssyklus er det lite sannsynlig at de nye prosessorkjernene vil vises i brikker før i 2019 eller senere. Programvaren, som fungerer på eksisterende kjerner, kan selvfølgelig distribueres mye raskere.

ARM presset også noen nye løsninger for tingenes internett, inkludert en ny SIM-løsning kalt Kigen, designet for å bli bygget inne i SoC-er for enheter med lav effekt til å erstatte dagens fysiske SIM-kort.

Fantasiteknologier

Imagination, kjent for sin PowerVR-grafikk, kunngjorde IP-en for nevrale nettverk i fjor høst, PowerNA (NNA), PowerVR 2NX Neural Network Acceleration (NNA). Dette er en fleksibel arkitektur med en til åtte kjerner, som hver kan ha 256 8-biters multiplay-akkumuleringsenheter (MAC). Fantasi har sagt at den kan utføre over 3, 2 billioner operasjoner per sekund.

Ceva

Andre IP-leverandører kommer også ut i markedet. Ceva, som er kjent for sine DSP-kjerner, kunngjorde nettopp NeuPro, en familie av AI-prosessorkjerner designet for kantenheter. Disse bygger videre på prosessorer firmaet har solgt i datamaskinens visjonsområde, og bruker CDNN-rammeverket for en rekke "AI-prosesser." Dette vil fungere med de vanlige maskinlæringsrammer, og konvertere disse til å kjøre på mobile prosessorer for inferencing. Selskapet planlegger prosessorer fra 2 til 12, 5 teraops per sekund (TOPS) designet for forbruker-, overvåkings- og ADAS-produkter (for autonome kjøretøy). Ceva har sagt at en av de største bilkundene planlegger å muliggjøre 100 TOPS-ytelser med mindre enn 10 watt strøm. Lisensiering vil starte i andre halvår i år.

Ceva kunngjorde også sin PentaG-plattform av DSP-er for 5G baseband-modemer. Selskapet sier at de nåværende DSP-ene er i 40 prosent av verdens håndsett, og dekker omtrent 900 millioner telefoner i året, og i modemer fra Intel, Samsung og Spreadtrum. Den nye plattformen har mer AI, spesielt brukt til "koblingstilpasning." I 5G-verdenen kan håndsett ha flere koblinger til en basestasjon, og Ceva sier at maskinvaren og programvaren er med på å bestemme den beste koblingen med noen få millisekund. Dette kan spare mye strøm sammenlignet med å bruke programvare alene. Dette er ikke en generell DSP eller nevral nettverksbrikke, men snarere en designet spesielt for kommunikasjon. Den ble akkurat kunngjort og skulle være tilgjengelig i tredje kvartal.

Ceva gjør også et stort press for DSP-er i 5G-basestasjonsmarkedet, og har sagt at så mye som 50 prosent av den 5G nye radioinfrastrukturen vil bruke selskapets DSP IP, inkludert systemer fra Nokia og ZTE.

Hvor sannsynlig er det at du anbefaler PCMag.com?