Učení neuronových sítí vytvořených z memristorů

Memristory přináší revoluci z pohledu efektivity výkonu a spotřeby pro použití jako pamětí. Jsou ale i skvělou hardwarovou komponentou simulující neurony a synapse.

O revolučních memristorech, dalším významném pasivním prvku po kondenzátoru, cívce a rezistoru, jsme podrobně psali již před lety. Memristor je zjednodušeně hardwarový prvek, který dokáže měnit a zapamatovat svůj odpor dle předchozího procházejícího napětí. Podobně fungují i synapse v našem mozku, kterých je několik u každého neuronu a v rámci 100 miliard neuronů v našem mozku jich je přibližně stovky trilionů.

Simulace těchto analogových prvků pomocí softwaru je značně neefektivní, takže i se současnými nejvýkonnějšími superpočítači nejsme pořádně schopni simulovat v reálném čase třeba ani mozek kočky, který má stokrát méně neuronů i synapsí. Spotřeba při takové simulaci je navíc v megawattech, zatímco našemu mozku stačí pouhé watty.

Memristor jako efektivní základní prvek neuronové sítě

I když HP plánuje v rámci The Machine použít memristory jako základní součástku pro rychlou a efektivní univerzální paměť, což samo o sobě jistě způsobí velkou revoluci, jedna oblast je mnohem významnější.

Pomocí memristoru lze efektivně na úrovni hardwaru simulovat synapse. To znamená stavbu efektivních a výkonných neuronových sítí, které budou pracovat analogově už v rámci samotného hardwaru a nikoli neefektivně přes software, který se s vysokou spotřebou energie musí přepočítávat přes několik vrstev na digitální formu jedniček a nul, se kterými pracují současné výpočetní čipy a paměti.

Skupina vědců (Mirko Prezioso, Farnood Merrikh-Bayat, Brian Hoskins, Gina Adam, Konstantin K. Likharev, Dmitri B. Strukov) vytvořila testovací hybridní konstrukci neuromorfní sítě (CrossNet) i se simulovanými spoji mezi memristory (axony, dendrity) s velmi vysokou hustotou.

Klepněte pro větší obrázek
Vytvořený obvod pro výzkum meristorových spojení

Teoreticky je možné škálovat počet spojení na vysoké hodnoty, kterými se pyšní třeba i náš mozek. A dokonce ještě efektivněji z pohledu objemu hmoty. S pětivrstvou konstrukcí s 30nm roztečí spojení obsahující dva memristory na jednu synapsi, to bude znamenat 10 000 synapsí na jeden neuron a hustotu 25 milionů neuronů na čtvereční centimetr. Výsledná spotřeba by přitom byla pouze kolem jednoho wattu.

Klepněte pro větší obrázekKlepněte pro větší obrázek
Detail 12×12 konstrukce memristorových spojení

Z pohledu efektivity (spotřeby energie a výkonu) by měla být taková konstrukce srovnatelná s lidským mozkem, ale navíc by spojení a předávání signálů mělo být mnohem rychlejší  - zpoždění signálů se očekává kolem 0,02 ms, zatímco biologické mozky mají kolem 10 ms. Až se nám roboti budou smát, že nám to myslí pomalu, víme odkud vítr vane.

Zatím 60 memristorů pro rozpoznání tří písmen

Vědcům se podařilo vytvořit základní konstrukci sítě, která zahrnovala 12 × 12 memristorových spojení. I pomocí tohoto jednoduchého spojení se podařilo vytvořit umělou neuronovou síť s deseti vstupy a třemi výstupy, což znamenalo využití 60 memristorů (každý dvě synapse).

Klepněte pro větší obrázekKlepněte pro větší obrázek
Rozpoznávací obrazce tří písmen v rámci deviti pixelů i ve verzi s chybami

Pomocí takto jednoduché sítě bylo možné efektivně naučit a rozpoznávat písmena Z, V a N v rámci devíti pixelů rozmístěných v kombinaci 3x3 pixelů. Žádné tranzistory a přímo pomocí hardwaru byla schopná tato neuronová síť se s jedním průchodem efektivně naučit a analogově rozpoznávat.

Klepněte pro větší obrázek
Zapojení umělé neuronové sítě pro teno výzkum

A to i s případnou chybou pixelu v devítipixelovém obraze. S větším počtem opakování učení velmi rychle klesalo množství chyb a perfektních výsledků dosáhla v průměru kolem 23 opakování. TO vše s nízkou spotřebou a i když některé části výpočtů byly provedené na externím zařízení, hlavní výpočetní část zastala memristorová umělá neuronová síť.

Klepněte pro větší obrázek
Množství chybných rozpoznání dle počtu opakování

Podrobné informace naleznete v oficiálním materiálu.

Témata článku: Technologie, Umělá inteligence, Neuronová síť, Synapse, Neuron, Axon, Gina, Nature

40 komentářů

Nejnovější komentáře

  • Jan Němec 11. 5. 2015 10:34:17
    Popis nové technologie, která má na hardwarové úrovní zefektivnit...
  • borekz 10. 5. 2015 16:06:41
    Zpoždění 20 mikrosekund. To jsou fofry jak na počítači ze 60-let. :-D
  • Antonín Tráva 9. 5. 2015 19:07:12
    To je sice moc pěkný, ale k umělý inteligenci to má pořád ještě *hodně*...
Určitě si přečtěte

Operační systém běžným počítačům nedal Bill Gates, ale Gary Kildall

Operační systém běžným počítačům nedal Bill Gates, ale Gary Kildall

** Gary Kildall pochopil, že levné výpočetní čipy mohou posloužit jako univerzální počítače pro všechny ** Připravil pro ně proto první operační systém ** Později mu systém vyfoukl Microsoft a nazval ho MS DOS

23.  4.  2017 | Pavel Tronner | 46

Původní Starcraft: Brood War je nyní zdarma. Konec práce! Jde se pařit

Původní Starcraft: Brood War je nyní zdarma. Konec práce! Jde se pařit

** Legendární hra Starcraft je nyní k dispozici zdarma ** Chystá se i nová remasterovaná verze s hezčí grafikou

19.  4.  2017 | Jakub Čížek | 25

Brno otevřelo největší českou dílnu pro bastlíře. Kladívka, vrtačky, 3D tiskárny, laserové řezačky. Je tu vše

Brno otevřelo největší českou dílnu pro bastlíře. Kladívka, vrtačky, 3D tiskárny, laserové řezačky. Je tu vše

** Máte nápad, ale chybí vám stroje a pořádná dílna? ** Chcete postavit ptačí budku, nebo krabičku pro Arduino? ** Brno otevřelo svůj FabLab – laboratoř pro bastlíře

19.  4.  2017 | Jakub Čížek | 31

Umělá inteligence je sice v plenkách, už teď ale přestáváme rozumět, jak vlastně funguje. To je problém

Umělá inteligence je sice v plenkách, už teď ale přestáváme rozumět, jak vlastně funguje. To je problém

** Už je to tady, lidé přestávají chápat počítače ** Systémy neuronových sítí začínají pracovat tak, že ani jejich tvůrci přesně neví, co se uvnitř děje ** Do budoucna to může být závažný problém

Včera | Jakub Čížek | 94

Před 35 lety měl premiéru legendární počítač ZX Spectrum. Připomeňte si „Gumáka“

Před 35 lety měl premiéru legendární počítač ZX Spectrum. Připomeňte si „Gumáka“

** Slavný osmibitový počítač Sinclair ZX Spectrum byl uveden právě před 35 lety ** Připomeňte si tento průkopnický počítač v tematických článcích ** Podívejte se, jak funguje dnes

23.  4.  2017 | Pavel Tronner | 13

Český Google Překladač začal používat umělou inteligenci. Konec „drahoušků zákazníků“

Český Google Překladač začal používat umělou inteligenci. Konec „drahoušků zákazníků“

** Google ve svém překladači roky používal statistickou technologii ** Nyní zavádí strojové učení a neuronové sítě ** Rozdíl by měl být zvláště na větších textech patrný už nyní

20.  4.  2017 | Jakub Čížek | 31


Aktuální číslo časopisu Computer

První test AMD Ryzen

Velké testy: 22 powerbank a 8 bezdrátových setů

Radíme s koupí Wi-Fi routeru

Co dokáží inteligentní domy?