Intel ukázal počítač s 8 miliony neuronů. Zvládne A.I. lépe než grafické čipy

kolik procent z nich spouvisi s inteligenci a kolik dela ten zbytek (zrak, pohyb, bolest, traveni...)?

Však tohle je na jednoúčelové aplikace. Nikdo od toho snad nečeká obecnou AI.

Navic lidsky mozek ma dynamickou neuronovou sit. Jeji topologie se porad meni, synapse vznikaji i zanikaji. Topologie umelych neuronovych siti je pevne stanovena pred zahajenim uceni. Umele neuronove site byvaji usporadany ve vrstvach, vystup nizsi vrstvy je vstupem pro vyssi, dale nemohou mit v sobe cykly - ucici algoritmus by neskoncil v zadne iteraci.

I se sítěmi které mění topologii a jsou zacyklené se experimentuje.

A s nejakymi vysledky ?

Nevím, je to pár let, co jsem se o tom bavil s člověkem který to dělá. Asi to bude ve fázi základního výzkumu.

Výsledky to má dobré, síť si dokáže vytvořit něco jako "paměť" a "abstrakci". Problém je extrémní hardwarová náročnost, protože trénink takové složitější sítě zabere násobně větší počet generací. Na druhou stranu síť s "abstrakcí" dokáže tak trochu předvídat budoucnost a trénovat sama sebe. Takže po vytrénování lépe zvládá situace, které nebyly ve vstupních datech.

Ten HW neuron je lepší, než ten biologický. Jeho rychlost je o několik řádů vyšší, jeho spolehlivost je o mnoho řádů vyšší. Přesnost záleží na implementaci, ale ukazuje se, že i takové očesané FP16 je zbytečně moc a experimentuje se s FP8 (tedy, že váhy a stavy je zbytečné implementovat pomocí 65536 hodnot, že stačí 256). Ty biologické větší přesnost nemají.
Takže zatím jediné, co nám brání vyrobit něco tak komplexního jako je lidský mozek, je počet tranzistorů. Když na 8 milionů neuronů potřebují 132 miliard tranzistorů, tak do těch 100 miliard neuronů je ještě dost daleko.

To bych neřekl, člověku můžete odebrat takřka půlku mozku a on funguje dál, pokud se nejedná o těch pár klíčových neuronů, které řídí vnitřní orgány, ale jen o ty, které zajišťují "vyšší funkce". Umělé neurony takovou robustnost nemají. Navíc mají velmi pevnou hierarchii synapsí, což v lidském mozku není, synapse jsou víceúrovňové i cyklické. Bez cyklických neuronů je problém s vytvořením paměti.

Je fakt, že se v tom nijak zvlášť nevyznám, ale z toho mála co o problematice vím, biologické neurony zpracovávají celou řadu různých druhů elektrických a chemických signálů, na rozdíl od neuronu umělého, který je jen celkem jednoduchou matematickou funkcí jednoho typu signálu.
Netuším jestli tato záležitost celkový výkon biologické neuronové sítě nějak ovlivňuje, ale docela bych si tipnul, že nejspíš ano, když už to evoluece takhle vyvinula. Navíc, aby situace byla ještě komplikovanější, biologických neuronů existuje víc typů.
Současná NN je tedy ve srovnání se svou biologickou předlohou jen velmi jednoduchou abstrakcí.
Mimochodem, matně si vzpomínám, že jsem kdysi četl teorii, že mozek využívá také i subatomární kvantové jevy, ale uznávám, že tohle je už hodně divoký.

Počet neuronů je s trochou nadsázky vedlejší, důležitější je počet synapsí a hlavně jejich struktura. A to hardwarově nebudeme moci zreprodukovat ještě minimálně desítky let.

Jenže ta v článku popisovaná deska má i minimálně dvě nezanedbatelné výhody. Jde propojit s jinýma deskama a software se do ní dá nahrávat.

Názor byl 1× upraven, naposled 18. 07. 2019 07:34

Zrejmne Logicky obvod s funkci "suma vstupu nad nejakou mez vyvola zmenu na vystupu"
Dulezity bude pocet vstupu podle toho se bude odvijet vyuziti pro ruzne neuronove site. Skutecny neuron ma stovky az tisece synapsi (vstupu)Chapu to jako specializovane hradlove pole. Kde logicky element (LE) bude zrejmne tento neuron. + dalsi vnitrni obvody kde po spojeni (programovani) dojde vytvoreni neuronove site pro dany ukol.

Do toho by neslo zadratovat uceni. Nejde o prostou sumu vstupu, ale o vazeny prumer a ty vahy se meni podle toho, jak se sit uci. Navic neni jasna topologie site.

Jeden z přístupů jak řešit AI jsou neuronové sítě, což je matematická abstrakce, kde se simulují propojené neurony. Neuron je struktura, kde jsou nějaké vstupy, váhy, přechodová funkce atd. Při simulaci se docela jednoduše spočítají signály pro každý neuron a na výstupu sítě se objeví nějaký výsledek.
Je to úloha která je velmi dobře paralelizovatelná, takže je až škoda počítat to na dnešních CPU, protože místo několika složitých jader je potřeba hromada tisíců jednoduchých výpočetních jednotek. Tomu celkem odpovídají GPU, ale ty mají těch jednotek stovky až tisíce, takže zde Intel zkouší udělat HW, který dovede simulovat miliony neuronů najednou.

Z toho mi vyplýva, že by bolo vhodné zadefinovať neurón ako merateľnú výpočtovú jednotku aby bolo možné merať výkon takýchto procesorov. Možno také niečo existuje? Lebo povedať že má niekoľko mil. neurónov je nič nehovoriace.

Nemůžete měřit výkon neuronové sítě podle počtu neuronů. Lidské mozky také obsahují plus mínus stejný počet neuronů a inteligence jedinců je naprosto odlišná.
Má tedy smysl říkat, kolik má čip neuronů, má smysl říkat, kolik může mít neuron maximálně vstupů, ale o výkonu vám to neřekne vůbec nic.

Inteligence lidí (až na výjimky ve vegetativním stavu) je velmi podobná, pokud neporovnáváme jen lidi mezi sebou, ale do srovnání zahrneme i ostatní živočichy. Až na výjimky, i ten největší debil se zvládne naučit mluvenou řeč, což se umělé inteligenci moc nedaří. Navíc umělá inteligence je pořád nesmírně pitomá, pokud se setká s něčím novým. Uměle řízená auta potřebují miliony najetých kilometrů v simulacích, aby k něčemu byla a pokud v simulaci něco chybělo, mají s tím velký problém. Lidé se naučí řídit po pár stovkách kilometrů často bez nehody a s novou situací si poradí většinou sami.
Časem hardware lidský mozek překoná, bude mít lepší paměť, vyšší výpočetní výkon, pokud jde o logické myšlení a komplikované výpočty, tak už počítače brutálně vedou, ale naučit se řeč jen posloucháním rodičů je zatím utopie. Na trénink vizuálních neuronových sítí se vstupem 1MPixel (1 milion neuronů) nemáme výpočetní výkon, protože takový trénink vyžaduje miliardy generací, aby byl co k čemu. K tomu by bylo třeba další miliony neuronů na paměť... Současné neuronové sítě jsou velmi hrubou analogií s tím, jak fungují neurony v mozku, technologie se musí dostat dále, aby zvládla "běžné" činnosti a neexcelovala jen v "těžkých" úlohách, které vyžadují znalosti a logické uvažování.