Velký přehled neuročipů aneb i umělá inteligence potřebuje efektivní mozek

Umělá inteligence zažívá masivní rozmach ve všech možných segmentech a mezi její hlavní vlastnosti patří, že je velmi náročná na výpočetní operace. Její provoz tak není efektivní na klasických obecných procesorech, ale pomalu už ani na grafických čipech.

Nvidia: strojové učení není segment, je to budoucnost všeho

Komplexnost neuronových sítí se totiž zvyšuje a je tak nutné vytvořit i efektivnější hardware, na kterém vše běží. A proto začaly ve velkém vznikat různé druhy akcelerátorů a neuronových čipů, které jsou optimalizované právě pro strojové učení, hluboké neuronové sítě a umělou inteligenci obecně.

Umělá inteligence je větší hrozbou než Severní Korea, říká Elon Musk

Do vývoje se původně pustily jen odborné vědecké laboratoře, ale v současné době už na nich pracují i velké technologické společnosti, které je integrují a skutečně hromadně nasazují pro reálné použití v různých oblastech. Vzhledem k tomu, že těchto neuročipů už je poměrně hodně, uděláme si takový přehled, co všechno se aktuální vyvíjí a je na trhu.

Apple A11 Bionic

V nejnovějším iPhonu X Apple používá nový 10nm čip A11 Bionic, který kromě procesorových ARM jader a grafického čipu od Applu (poprvé v historii), obsahuje i obvody specializované pro umělou inteligenci. Apple dříve akceleraci řešil pomocí grafického čipu, specializované neuronové obvody (Apple Neural Engine) mu ale umožní dosáhnout vyššího výkonu při nižší spotřebě.

Ať už se tak jedná o zpracování fotografií na několika úrovních, rozpoznávání obličeje pomocí Face ID, animované emoji a další, vše řeší efektivně Neural Engine. Podle údajů Applu systém zvládá 600 miliard operací za sekundu.

Google TPU

TPU alias Tensor Processing Unit je akcelerátorem od Googlu, který už je v současnosti ve druhé generaci. Jedná se o ASIC čip, který se proslavil hlavně v rámci stroje AlphaGo, který soutěžil s nejlepšími lidskými soupeřil ve hře Go a všechny je bez milosti porazil.

První generace měla pouze 8bitovou přesnost a pracovala na frekvenci 700 MHz se spotřebou 28 W až 40 W. Čip byl vyráběn 28nm technologií a jeden modul měl 8 GB paměti DDR3 s propustností 34 GB/s.

Druhá generace, která byla představená začátkem tohoto roku a dokáže si už poradit i s pohyblivou řadovou čárkou, přinesla 16 GB paměti HBM, díky čemuž se zvýšila propustnost na 600 GB/s a celkový výkon jednoho čipu se dostal na 45 TFLOPS. V rámci jednoho modulu jsou čtyři čipy (180 TFLOPS), přičemž v rámci desky je připojeno několik těchto modulů s celkovým výkonem 11,5 PFLOPS.

Google se pochlubil výkonem svých procesorů TPU pro strojové učení. Jsou až 30× rychlejší

Pro Google jsou tyto akcelerátory důležité v serverech a datacentrech, protože zpracovává veškerá data uživatelů v cloudu a rozdíl ve výkonu a spotřeb oproti klasickým čipům je i řádově lepší. Zároveň mu to umožňuje se zbavit závislosti na drahých profesionálních výpočetních grafických kartách od Nvidie.

Qualcomm Zeroth NPU

Zeroth NPU (Neural Processing Unit) představil Qualcomm už v roce 2013, ale tehdy šlo hlavně o návrh. První implementace této platformy přišla s mobilním čipsetem Snapdragon 820, byť spíše v rámci softwarové podoby.

Technologie totiž zatím využívá optimalizace architektury čipu, než konkrétní specializované obvody. Těch bychom se ale měli rovněž dočkat v budoucích verzích, ale vývojáři mohou nové možnosti využít díky dostupnému SDK už dnes.

Qualcomm připraví vývojářské nástroje pro svůj mobilní A.I. čip Zeroth

IBM TrueNorth

Specializovaný čip TrueNorth vyrobila v roce 2014 společnost IBM a hlavní odlišností od klasických čipů bylo použití velkého počtu menších jader. V tomto případě jich bylo 4 096, přičemž každé jádro dokázalo simulovat 256 neuronů.

Jeden čip tak zvládal v rámci omezené simulace poskytovat schopnosti jednoho milionu neuronů a 268 milionů programovatelných synapsí (každý neuron jich měl 256). Velkou výhodou byla nízká spotřeba této konfigurace, která byla u jednoho čipu pouze 70 mW a na fotografii tak můžete vidět zapojení 16 těchto čipů v jedné desce.

IBM má druhou generaci neuročipu napodobující mozek

SpiNNaker

Tak trochu jiným případem je projekt SpiNNaker (Spiking Neural Network Architecture), který nesází na jeden specializovaný čip, ale na spoustu malých propojených čipů, které pomocí softwaru vytvoří efektivní neuronovou síť třeba v datacentrech a podobně.

Mezi použitými procesory budou čtyřjádrové až osmijádrové čipy ARM, v plánu je použití jeden milion kusů těchto čipů do paralelního zpracování neuronové sítě. Jeden 19palcový rack by měl obsahovat 100 tisíc jader, každé jádro by mělo zvládat simulovat tisíc neuronů.

Vědci se pokusí simulovat mozek, poslouží k tomu miliony procesorů

Neurogrid

Jeden z velmi starých projektů, který byl coby reálný hardware k dispozici už v roce 2009. Neurogrid je v rámci nejnovější verze „Eyeriss“ vybaven 168 jádry s menší paměti, přičemž komunikace je možné jen mezi nejbližšími jádry.

Původní verze desky s 16 čipy byla schopná simulovat až milion neuronů a miliardu synapsí, přičemž spotřeba byla celkově jen 5 W.

Eyeriss: efektivní a výkonný neuronový čip chce být součástí zařízení

Malá destička s neuročipy simuluje milion lidských neuronů

Microsoft Brainwave

Vlastní řešení pro datacentra připravuje i Microsoft, který se v rámci specializovaného FPGA čipu Startix 10 (Intel) chlubí výpočetním výkonem v řádu desítek TFLOPS.

Stejně jako Google, i Microsoft tento hardware potřebuje pro umělou inteligenci v cloudu, která se stará nejen třeba o Cortanu, ale i o analýzu big data a podobně.

Microsoft se pochlubil vlastním procesorem Brainwave pro strojové učení

VPU a zaměření na obraz

Speciální skupinou jsou takzvané VPU – Visual Processing Unit, které se v rámci umělé inteligence zaměřují hlavně na zpracování obrazu. Jedná se tak nejen o systémy přímo určené pro rozpoznávání tváří, ale také okolních objektů a podobně skrze další data ze senzorů v reálném čase.

Mezi těmito čipy se nachází například Movidius Myriad 2, který nyní patří Intelu. Dříve ho používal třeba Google v tabletu Tango, je populární u dronů (třeba DJI) a v nejnovějším případě je integrovaný do malého zařízení o velikosti flash disku, který stačí připojit do USB portu.

Movidius Neural Compute Stick: akcelerátor neuronových sítí o velikosti flash disku, který stačí zasunout do USB

Vlastní čip má i společnost Mobileye (tento rok ji rovněž koupil Intel), která vyvíjí a prodává systém autonomního řízení. Původní platformu měly starší elektromobily Tesla. Konkrétní čip nese název EyeQ.

Speciálním případem je Microsoft HPU (Holographic Processing Unit), který sice primárně řeší rozpoznávání a interakci obrazu v reálném čase, ale čip s 1 GB paměti obsahuje i dalších 28 DSP, které se specializují na akceleraci zpracování hlasu a zvuku, pohybů rukou a další oblasti. Tento čip je součástí helmy Hololens.

Nvidia Volta

Akceleraci neuronových sítí bylo sice dříve možné řešit pomocí standardního GPGPU, které je určené primárně pro zpracování dvourozměrné a trojrozměrné grafiky, ale protože Nvidia na tomto trhu vládne i díky včasné podpoře vývojářů a platformy CUDA, rozhodla se jít dále a s novou architekturou Volta přinesla do grafických čipů zásadní novinku.

Kromě klasických CUDA jader totiž čip obsahuje i 640 Tensor jader, která sama o sobě poskytují výkon 120 TFLOPS. Stejná specializovaná jádra jsou součástí mobilního čipsetu Xavier AI Car Supercomputer, který je určen pro autonomní vozidla. Spotřeba je i přes použití klasických ARM jader a GPU přitom pouze 30 W.

Nvidia představila obří čip GV100. Bude pohánět neuronové sítě