Apple A11 Bionic. Nový čip od Applu, který kromě procesorových ARM jader a grafického čipu od Applu (poprvé v historii), obsahuje i obvody specializované pro umělou inteligenci.

Apple A11 Bionic. Nový čip od Applu, který kromě procesorových ARM jader a grafického čipu od Applu (poprvé v historii), obsahuje i obvody specializované pro umělou inteligenci.

Google TPU. Jedná se o ASIC čip, který se proslavil hlavně v rámci stroje soupeřícím s člověkem ve hře AlphaGo.

Google TPU. Jedná se o ASIC čip, který se proslavil hlavně v rámci stroje soupeřícím s člověkem ve hře AlphaGo.

Superpočítač AlphaGo sestavený z procesorů Google Tensor Processing Unit pro strojové učení.

Superpočítač AlphaGo sestavený z procesorů Google Tensor Processing Unit pro strojové učení.

Tensor Processing Unit je vysoce specializovaná výpočetní jednotka, která namísto běžného procesoru obsahuje TPU – Tensor Processing Unit pro strojové učení.

Tensor Processing Unit je vysoce specializovaná výpočetní jednotka, která namísto běžného procesoru obsahuje TPU – Tensor Processing Unit pro strojové učení.

Qualcomm Zeroth NPU. Zeroth NPU (Neural Processing Unit) představil Qualcomm už v roce 2013, ale tehdy šlo hlavně o návrh. První implementace této platformy přišla s mobilním čipsetem Snapdragon 820.

Qualcomm Zeroth NPU. Zeroth NPU (Neural Processing Unit) představil Qualcomm už v roce 2013, ale tehdy šlo hlavně o návrh. První implementace této platformy přišla s mobilním čipsetem Snapdragon 820.

IBM TrueNorth. Specializovaný čip TrueNorth vyrobila v roce 2014 společnost IBM a hlavní odlišností od klasických čipů bylo použití velkého počtu menších jader.  Foto:  DARPA SyNAPSE , Public domain

IBM TrueNorth. Specializovaný čip TrueNorth vyrobila v roce 2014 společnost IBM a hlavní odlišností od klasických čipů bylo použití velkého počtu menších jader. | Foto: DARPA SyNAPSE, Public domain

V tomto čipu je 4 096 jader, přičemž každé jádro dokázalo simulovat 256 neuronů.

V tomto čipu je 4 096 jader, přičemž každé jádro dokázalo simulovat 256 neuronů.

Jeden čip tak zvládal v rámci omezené simulace poskytovat schopnosti jednoho milionu neuronů a 268 milionů programovatelných synapsí (každý neuron jich měl 256).

Jeden čip tak zvládal v rámci omezené simulace poskytovat schopnosti jednoho milionu neuronů a 268 milionů programovatelných synapsí (každý neuron jich měl 256).

Velkou výhodou byla nízká spotřeba této konfigurace, která byla u jednoho čipu pouze 70 mW a na fotografii tak můžete vidět zapojení 16 těchto čipů v jedné desce.

Velkou výhodou byla nízká spotřeba této konfigurace, která byla u jednoho čipu pouze 70 mW a na fotografii tak můžete vidět zapojení 16 těchto čipů v jedné desce.

Detail celé jednotky IBM TrueNorth

Detail celé jednotky IBM TrueNorth

Tak trochu jiným případem je projekt SpiNNaker (Spiking Neural Network Architecture), který nesází na jeden specializovaný čip, ale na spoustu malých propojených čipů, které pomocí softwaru vytvoří efektivní neuronovou síť třeba v datacentrech a podobně.

Tak trochu jiným případem je projekt SpiNNaker (Spiking Neural Network Architecture), který nesází na jeden specializovaný čip, ale na spoustu malých propojených čipů, které pomocí softwaru vytvoří efektivní neuronovou síť třeba v datacentrech a podobně.

Mezi použitými procesory budou čtyřjádrové až osmijádrové čipy ARM, v plánu je použití jeden milion kusů těchto čipů do paralelního zpracování neuronové sítě.

Mezi použitými procesory budou čtyřjádrové až osmijádrové čipy ARM, v plánu je použití jeden milion kusů těchto čipů do paralelního zpracování neuronové sítě.

Jeden 19palcový rack by měl obsahovat 100 tisíc jader, každé jádro by mělo zvládat simulovat tisíc neuronů.

Jeden 19palcový rack by měl obsahovat 100 tisíc jader, každé jádro by mělo zvládat simulovat tisíc neuronů.

Neurogrid. Jeden z velmi starých projektů, který byl coby reálný hardware k dispozici už v roce 2009.

Neurogrid. Jeden z velmi starých projektů, který byl coby reálný hardware k dispozici už v roce 2009.

Neurogrid je v rámci nejnovější verze „Eyeriss“ vybaven 168 jádry s menší paměti, přičemž komunikace je možné jen mezi nejbližšími jádry.

Neurogrid je v rámci nejnovější verze „Eyeriss“ vybaven 168 jádry s menší paměti, přičemž komunikace je možné jen mezi nejbližšími jádry.

Microsoft Brainwave. Vlastní řešení pro datacentra připravuje i Microsoft, který se v rámci specializovaného FPGA čipu Startix 10 (Intel) chlubí výpočetním výkonem v řádu desítek TFLOPS.

Microsoft Brainwave. Vlastní řešení pro datacentra připravuje i Microsoft, který se v rámci specializovaného FPGA čipu Startix 10 (Intel) chlubí výpočetním výkonem v řádu desítek TFLOPS.

Stejně jako Google, i Microsoft tento hardware potřebuje pro umělou inteligenci v cloudu, která se stará nejen třeba o Cortanu, ale i o analýzu big data a podobně.

Stejně jako Google, i Microsoft tento hardware potřebuje pro umělou inteligenci v cloudu, která se stará nejen třeba o Cortanu, ale i o analýzu big data a podobně.

VPU – Visual Processing Unit se v rámci umělé inteligence zaměřují hlavně na zpracování obrazu. Movidius Myriad 2 patří Intelu.

VPU – Visual Processing Unit se v rámci umělé inteligence zaměřují hlavně na zpracování obrazu. Movidius Myriad 2 patří Intelu.

Dříve Movidius používal třeba Google v tabletu Tango, je populární u dronů (třeba DJI) a v nejnovějším případě je integrovaný do malého zařízení o velikosti flash disku, který stačí připojit do USB portu.

Dříve Movidius používal třeba Google v tabletu Tango, je populární u dronů (třeba DJI) a v nejnovějším případě je integrovaný do malého zařízení o velikosti flash disku, který stačí připojit do USB portu.

Nvidia Volta. Kromě klasických CUDA jader totiž čip obsahuje i 640 Tensor jader, která sama o sobě poskytují výkon 120 TFLOPS.

Nvidia Volta. Kromě klasických CUDA jader totiž čip obsahuje i 640 Tensor jader, která sama o sobě poskytují výkon 120 TFLOPS.

Nvidia

Nvidia

Nvidia

Nvidia

Nvidia

Nvidia

Nvidia

Nvidia

Google TPU. Jedná se o ASIC čip, který se proslavil hlavně v rámci stroje soupeřícím s člověkem ve hře AlphaGo.
Superpočítač AlphaGo sestavený z procesorů Google Tensor Processing Unit pro strojové učení.
Tensor Processing Unit je vysoce specializovaná výpočetní jednotka, která namísto běžného procesoru obsahuje TPU – Tensor Processing Unit pro strojové učení.
Qualcomm Zeroth NPU. Zeroth NPU (Neural Processing Unit) představil Qualcomm už v roce 2013, ale tehdy šlo hlavně o návrh. První implementace této platformy přišla s mobilním čipsetem Snapdragon 820.
33
Fotogalerie

Velký přehled neuročipů aneb i umělá inteligence potřebuje efektivní mozek

  • Umělá inteligence se dostává do stále více segmentů a hraje stále důležitější roli
  • Provoz umělé inteligence už není na klasických čipech efektivní a vznikají specializované modely
  • Neuročipy a akcelerátory vyvíjí jak velké technologické společnosti, tak i vědecké laboratoře

Umělá inteligence zažívá masivní rozmach ve všech možných segmentech a mezi její hlavní vlastnosti patří, že je velmi náročná na výpočetní operace. Její provoz tak není efektivní na klasických obecných procesorech, ale pomalu už ani na grafických čipech.

Komplexnost neuronových sítí se totiž zvyšuje a je tak nutné vytvořit i efektivnější hardware, na kterém vše běží. A proto začaly ve velkém vznikat různé druhy akcelerátorů a neuronových čipů, které jsou optimalizované právě pro strojové učení, hluboké neuronové sítě a umělou inteligenci obecně.

Do vývoje se původně pustily jen odborné vědecké laboratoře, ale v současné době už na nich pracují i velké technologické společnosti, které je integrují a skutečně hromadně nasazují pro reálné použití v různých oblastech. Vzhledem k tomu, že těchto neuročipů už je poměrně hodně, uděláme si takový přehled, co všechno se aktuální vyvíjí a je na trhu.

Pokračování 2 / 10

Apple A11 Bionic

V nejnovějším iPhonu X Apple používá nový 10nm čip A11 Bionic, který kromě procesorových ARM jader a grafického čipu od Applu (poprvé v historii), obsahuje i obvody specializované pro umělou inteligenci. Apple dříve akceleraci řešil pomocí grafického čipu, specializované neuronové obvody (Apple Neural Engine) mu ale umožní dosáhnout vyššího výkonu při nižší spotřebě.

Apple_A11.jpg

Ať už se tak jedná o zpracování fotografií na několika úrovních, rozpoznávání obličeje pomocí Face ID, animované emoji a další, vše řeší efektivně Neural Engine. Podle údajů Applu systém zvládá 600 miliard operací za sekundu.

Pokračování 3 / 10

Google TPU

TPU alias Tensor Processing Unit je akcelerátorem od Googlu, který už je v současnosti ve druhé generaci. Jedná se o ASIC čip, který se proslavil hlavně v rámci stroje AlphaGo, který soutěžil s nejlepšími lidskými soupeřil ve hře Go a všechny je bez milosti porazil.

google.jpeg

První generace měla pouze 8bitovou přesnost a pracovala na frekvenci 700 MHz se spotřebou 28 W až 40 W. Čip byl vyráběn 28nm technologií a jeden modul měl 8 GB paměti DDR3 s propustností 34 GB/s.

Druhá generace, která byla představená začátkem tohoto roku a dokáže si už poradit i s pohyblivou řadovou čárkou, přinesla 16 GB paměti HBM, díky čemuž se zvýšila propustnost na 600 GB/s a celkový výkon jednoho čipu se dostal na 45 TFLOPS. V rámci jednoho modulu jsou čtyři čipy (180 TFLOPS), přičemž v rámci desky je připojeno několik těchto modulů s celkovým výkonem 11,5 PFLOPS.

Pro Google jsou tyto akcelerátory důležité v serverech a datacentrech, protože zpracovává veškerá data uživatelů v cloudu a rozdíl ve výkonu a spotřeb oproti klasickým čipům je i řádově lepší. Zároveň mu to umožňuje se zbavit závislosti na drahých profesionálních výpočetních grafických kartách od Nvidie.

Pokračování 4 / 10

Qualcomm Zeroth NPU

Zeroth NPU (Neural Processing Unit) představil Qualcomm už v roce 2013, ale tehdy šlo hlavně o návrh. První implementace této platformy přišla s mobilním čipsetem Snapdragon 820, byť spíše v rámci softwarové podoby.

QualcommZeroth.png

Technologie totiž zatím využívá optimalizace architektury čipu, než konkrétní specializované obvody. Těch bychom se ale měli rovněž dočkat v budoucích verzích, ale vývojáři mohou nové možnosti využít díky dostupnému SDK už dnes.

Pokračování 5 / 10

IBM TrueNorth

Specializovaný čip TrueNorth vyrobila v roce 2014 společnost IBM a hlavní odlišností od klasických čipů bylo použití velkého počtu menších jader. V tomto případě jich bylo 4 096, přičemž každé jádro dokázalo simulovat 256 neuronů.

DARPA_SyNAPSE_16_Chip_Board.jpg

Jeden čip tak zvládal v rámci omezené simulace poskytovat schopnosti jednoho milionu neuronů a 268 milionů programovatelných synapsí (každý neuron jich měl 256). Velkou výhodou byla nízká spotřeba této konfigurace, která byla u jednoho čipu pouze 70 mW a na fotografii tak můžete vidět zapojení 16 těchto čipů v jedné desce.

Pokračování 6 / 10

SpiNNaker

Tak trochu jiným případem je projekt SpiNNaker (Spiking Neural Network Architecture), který nesází na jeden specializovaný čip, ale na spoustu malých propojených čipů, které pomocí softwaru vytvoří efektivní neuronovou síť třeba v datacentrech a podobně.

spinnaker.jpeg

Mezi použitými procesory budou čtyřjádrové až osmijádrové čipy ARM, v plánu je použití jeden milion kusů těchto čipů do paralelního zpracování neuronové sítě. Jeden 19palcový rack by měl obsahovat 100 tisíc jader, každé jádro by mělo zvládat simulovat tisíc neuronů.

Pokračování 7 / 10

Neurogrid

Jeden z velmi starých projektů, který byl coby reálný hardware k dispozici už v roce 2009. Neurogrid je v rámci nejnovější verze „Eyeriss“ vybaven 168 jádry s menší paměti, přičemž komunikace je možné jen mezi nejbližšími jádry.

neurogrid.jpeg

Původní verze desky s 16 čipy byla schopná simulovat až milion neuronů a miliardu synapsí, přičemž spotřeba byla celkově jen 5 W.

Pokračování 8 / 10

Microsoft Brainwave

Vlastní řešení pro datacentra připravuje i Microsoft, který se v rámci specializovaného FPGA čipu Startix 10 (Intel) chlubí výpočetním výkonem v řádu desítek TFLOPS.

microft.jpeg

Stejně jako Google, i Microsoft tento hardware potřebuje pro umělou inteligenci v cloudu, která se stará nejen třeba o Cortanu, ale i o analýzu big data a podobně.

Pokračování 9 / 10

VPU a zaměření na obraz

Speciální skupinou jsou takzvané VPU – Visual Processing Unit, které se v rámci umělé inteligence zaměřují hlavně na zpracování obrazu. Jedná se tak nejen o systémy přímo určené pro rozpoznávání tváří, ale také okolních objektů a podobně skrze další data ze senzorů v reálném čase.

movidius.jpeg

Mezi těmito čipy se nachází například Movidius Myriad 2, který nyní patří Intelu. Dříve ho používal třeba Google v tabletu Tango, je populární u dronů (třeba DJI) a v nejnovějším případě je integrovaný do malého zařízení o velikosti flash disku, který stačí připojit do USB portu.

Vlastní čip má i společnost Mobileye (tento rok ji rovněž koupil Intel), která vyvíjí a prodává systém autonomního řízení. Původní platformu měly starší elektromobily Tesla. Konkrétní čip nese název EyeQ.

Speciálním případem je Microsoft HPU (Holographic Processing Unit), který sice primárně řeší rozpoznávání a interakci obrazu v reálném čase, ale čip s 1 GB paměti obsahuje i dalších 28 DSP, které se specializují na akceleraci zpracování hlasu a zvuku, pohybů rukou a další oblasti. Tento čip je součástí helmy Hololens.

Pokračování 10 / 10

Nvidia Volta

Akceleraci neuronových sítí bylo sice dříve možné řešit pomocí standardního GPGPU, které je určené primárně pro zpracování dvourozměrné a trojrozměrné grafiky, ale protože Nvidia na tomto trhu vládne i díky včasné podpoře vývojářů a platformy CUDA, rozhodla se jít dále a s novou architekturou Volta přinesla do grafických čipů zásadní novinku.

gv100.jpeg

Kromě klasických CUDA jader totiž čip obsahuje i 640 Tensor jader, která sama o sobě poskytují výkon 120 TFLOPS. Stejná specializovaná jádra jsou součástí mobilního čipsetu Xavier AI Car Supercomputer, který je určen pro autonomní vozidla. Spotřeba je i přes použití klasických ARM jader a GPU přitom pouze 30 W.

Určitě si přečtěte

Články odjinud