Video: Diving into the TPU v2 and v3 (Oktober 2024)
En av de mest interessante - og uventede - kunngjøringene Google ga på sin I / O-utviklerkonferanse forrige uke, var at den har designet og implementert sine egne brikker for maskinlæring. Under hovednotatet introduserte Googles administrerende direktør Sundar Pichai det han kalte Tensor Processing Units (TPUs) og sa at selskapet brukte disse i sine AlphaGo-maskiner, som beseiret Go-mester Lee Sedol.
"TPU-er er en størrelsesorden høyere ytelse per watt enn kommersielle FPGA-er og GPU-er, " sa Pichai. Selv om han ikke ga mange detaljer, forklarte Googles utmerkede maskinvareingeniør Norm Jouppi i et blogginnlegg at en TPU er en tilpasset ASIC (applikasjonsspesifikk integrert krets). Med andre ord, det er en brikke spesielt designet for å kjøre maskinlæring og spesielt skreddersydd for TensorFlow, Googles rammeverk for maskinlæring.
I innlegget sa Jouppi at det er "mer tolerant" mot redusert beregningspresisjon, noe som betyr at det krever færre transistorer per operasjon. Dette gjør at Google kan få flere operasjoner per sekund, slik at brukerne får resultater raskere. Han sa at et brett med en TPU passer inn i en spor for harddiskstasjon i datasenter-stativene, og viste et bilde av serverreoler fylt med TPU-er, som han sa ble brukt i selskapets AlphaGo-maskiner.
I tillegg sa Jouppi at TPU-er allerede jobber med en rekke applikasjoner hos Google, inkludert RankBrain, som ble brukt til å forbedre relevansen av søkeresultater, og Street View, for å forbedre nøyaktigheten og kvaliteten på kart og navigasjon.
På en pressekonferanse bekreftet Googles VP for teknisk infrastruktur Urs Hölzle at TPU kjører med 8-bits heltallsmatematikk, i stedet for matematikk med høyere presisjon med flytende punkt som de fleste moderne CPUer og GPUer er designet for. De fleste maskinlæringsalgoritmer kan komme bra med data med lavere oppløsning, noe som betyr at brikken kan håndtere flere operasjoner i et gitt område og takle mer komplekse modeller effektivt. Dette er ikke en ny idé; Nvidia Drive PX 2-modulen, som ble annonsert tidligere i år på CES, er i stand til å 8 teraflops med 32-biters flytende presisjonsnivå, men når 24 dyplærende "teraops" (selskapets periode for 8 -bit heltall matematikk).
Selv om Hölzle nektet å gå nærmere inn på detaljer, sier rapporter at han bekreftet at Google bruker både TPU-er og GPU-er i dag. Han sa at dette vil fortsette i noen tid, men foreslo at Google ser på GPU-er som for generelle, og foretrekker en brikke som er mer optimalisert for maskinlæring. Han sa at selskapet ville gi ut et papir som beskriver fordelene med brikken senere, men gjorde det klart at disse er designet for internt bruk, ikke for salg til andre selskaper. Et annet program han beskrev var å bruke sjetongene til å håndtere en del av databehandlingen bak stemmegjenkjenningsmotoren som ble brukt på Android-telefonen.
Valget om å bruke en ASIC er et interessant spill av Google. De største fremskrittene innen maskinlæring de siste årene - teknologien bak det store drivet for dype nevrale nett - har vært adopsjonen av GPU-er, spesielt Nvidia Tesla-linjen, for å trene disse modellene. Nylig kjøpte Intel Altera, en ledende produsent av FPGA-er (feltprogrammerbare gate-arrays), som er et sted i midten; de er ikke så generelle formål som GPU-er eller så spesielt designet for TensorFlow som Googles brikke, men kan programmeres til å utføre en rekke oppgaver. Microsoft har eksperimentert med Altera FPGAs for dyp læring. IBM utvikler sin TrueNorth Neurosynaptic-brikke designet spesielt for nevrale nett, som nylig har begynt å bli brukt i en rekke bruksområder. Cadence (Tensilica), Freescale og Synopsys presser sine DSP-er (digitale signalprosessorer) for å kjøre disse modellene; Mobileye og NXP kunngjorde nylig brikker designet spesielt for ADAS og selvkjørende biler; og flere mindre selskaper inkludert Movidius og Nervana har kunngjort planer for sjetonger spesielt designet for AI.
Det er for tidlig å vite hvilken tilnærming som vil være best i det lange løp, men å ha noen veldig forskjellige alternativer betyr at vi sannsynligvis vil se en interessant konkurranse de neste årene.
