Umělá inteligence | Energie

Současná A.I. je pěkný žrout. Cvičení těch největších neuronových sítí má uhlíkovou stopu jako dopravní letadlo

Současná A.I. je pěkný žrout. Cvičení těch největších neuronových sítí má uhlíkovou stopu jako dopravní letadlo

Když skupina vědců před necelými 28 lety sestavila první žebříček nejrychlejších superpočítačů světa TOP500, všechny zajímal jen výpočetní výkon a procesorová architektura.

Jenže superpočítače se začaly zvětšovat, relativně malé krabice nahradily rozsáhle clustery serverových skříní a počet CPU/GPU jader v jednom systému poskočil ze stovek a tisíců na miliony!

Byť byly procesory postupně stále energeticky úspornější, superpočítače začaly i tak topit zprvu jako menší fabriky a pak i městečka. Do statistik proto přibyl příkon v kW a na scéně se objevil ještě sesterský žebříček Green500, který hodnotí superpočítače z hlediska jejich energetické efektivity – tedy z hlediska spočítaných gigaflopsů na jeden watt.

Naučením neuronové sítě propálíme i megawatty

Stejná energetická paralela platí i pro aplikovanou A.I. založenou na současných architekturách strojového učení s využitím neuronových sítí. Zatímco u prvních a jednoduchých sítí všichni zkoumali jen jejich výkon – třeba rychlost a úspěšnost detekce koťátka na vstupní fotografii, dnes si stále více vědců všímá i propálené energie a uhlíkové stopy (Arxiv, PDF).

Klepněte pro větší obrázek
Kompletní strojové učení velké jazykové neuronové sítě (poslední řádek) má stejnou uhlíkovou stopu jako provoz několika automobilů anebo plné letadlo pasažérů z New Yorku do San Franciska a zpět.

Není divu, ty největší neuronové sítě určené třeba pro generování věrohodných textů jako GPT-3 a BERT jsou už totiž natolik komplikované, že si z hlediska spotřeby nezadají právě s malými superpočítači. Pokud by tedy měla být naše společnost založená stále větší měrou na A.I., která se musí stále zdokonalovat, a tedy i učit, dramaticky vzroste i spotřeba elektrické energie.

Klepněte pro větší obrázek
Spotřeba, uhlíková stopa a cena výpočtu v cloudu u několika zkoumaných jazykových neuronových sítí

Současné architektury neuronových sítí totiž sice v základních aspektech kopírují funkci biologických neuronů, to však už ale neplatí o samotném metabolismu mozku. I ten je sice neuvěřitelně hladový a patří k těm energeticky zdaleka nejnáročnějším orgánům našeho těla, nicméně ve srovnání s učením na superpočítačích a se současnými návrhy umělých neuronových sítí to je atlet, který uběhne maraton na jednu malou tatranku.

Strojové učení se musí změnit

Pokud má být tedy A.I. všudypřítomná jako praktický pomocník, návrh celého procesu musí být mnohem efektivnější. Zatímco zmíněný BERT se potřebuje naučit generovat texty na základě korpusu 3,3 miliard slovíček z anglických knih a Wikipedie, přičemž tuto obrovskou databázi přečte mnohokrát po sobě, pětileté dítě mohlo během svého dosavadního života slyšet možná tak 45 milionů slov, a přesto umí generovat mluvené slovo mnohem tvárněji než jakýsi umělý BERT, všímá si Ars Technica.

Pokud nedojde ke změně, s trochou nadsázky časem nedostanou energetické štítky pouze domy, ale i tyto programy z ranku A.I. Jistou úlevou je alespoň učení v datacentrech těch největších technologických ryb, které tento počítačový cirkus stále větší měrou živí pomocí energie z obnovitelných zdrojů. Nejdále je momentálně Google, stejným směrem jdou ale i Microsoft a další.

Diskuze (47) Další článek: The New York Times: Stopy po útoku na SolarWinds mohou vést i do Brna

Témata článku: Google, Microsoft, Doprava, Umělá inteligence, Architektura, Energie, Elektřina, Wikipedia, Neuronová síť, Strojové učení, PDF, Cvičení, Ars Technica, New York, BERT, Stopa, Žrout, Uhlíková stopa, Dopravní letadlo, San Francisco, GPT, Superpočítače


Určitě si přečtěte

26 užitečných rozšíření pro Chrome: Naučte prohlížeč nové věci

26 užitečných rozšíření pro Chrome: Naučte prohlížeč nové věci

** Prohlížeč Chrome obsahuje širokou škálu funkcí, neumí ale všechno ** Jeho schopnosti můžete rozšířit pomocí rozšíření ** Vybrali jsme pro vás zajímavé a užitečné doplňky

Karel Kilián | 44

Karel Kilián
Doplňky do prohlížečeChromeProhlížeče
Google spouští vlastní VPN a konkurenci se to vůbec nelíbí
Lukáš Václavík
SoukromíVPNGoogle
Starlink podle betatesterů: Rychlejší a levnější než satelitní internet v Česku

Starlink podle betatesterů: Rychlejší a levnější než satelitní internet v Česku

** Reddit se začíná plnit zkušenostmi se Starlinkem ** Při přímé viditelnosti dá i 120 Mb/s ** Klasický satelitní internet už teď dalece překonává

Jakub Čížek | 48

Jakub Čížek
StarlinkPoskytovatelé internetu
Pozor na tyto doplňky pro Chrome a Edge. Mohou obsahovat malware, varuje Avast
Jakub Čížek
MalwareProhlížeče
Cableporn: Podívejte se na úžasná díla umělců z podnikových serveroven

Cableporn: Podívejte se na úžasná díla umělců z podnikových serveroven

** Uspořádání kabelů můžete vnímat i jako podivný druh umění ** To nejkrásnější se skrývá v datacentrech a serverovnách ** Podívejte se na skutečné „cableporn“ z optiky i kroucené dvojlinky

Vojtěch Malý | 52

Vojtěch Malý
DatacentraServery
Fedora 33 prostě funguje. Linux si zaslouží dobýt laptop, je to ale asi opět marné

Fedora 33 prostě funguje. Linux si zaslouží dobýt laptop, je to ale asi opět marné

** Desktopový Linux funguje a vypadá stále lépe ** Fedora 33 není výjimkou ** Ve stínu Windows a macOS tu vyrostly skvělé alternativy

Jakub Čížek | 162

Jakub Čížek
FedoraOperační systémyLinux

Aktuální číslo časopisu Computer

Jak prodloužit výdrž notebooku

Velké testy: gamepady a inkoustové tiskárny

Důkladný test Sony Playstation 5