Umělá inteligence | Energie

Současná A.I. je pěkný žrout. Cvičení těch největších neuronových sítí má uhlíkovou stopu jako dopravní letadlo

Současná A.I. je pěkný žrout. Cvičení těch největších neuronových sítí má uhlíkovou stopu jako dopravní letadlo

Když skupina vědců před necelými 28 lety sestavila první žebříček nejrychlejších superpočítačů světa TOP500, všechny zajímal jen výpočetní výkon a procesorová architektura.

Jenže superpočítače se začaly zvětšovat, relativně malé krabice nahradily rozsáhle clustery serverových skříní a počet CPU/GPU jader v jednom systému poskočil ze stovek a tisíců na miliony!

Byť byly procesory postupně stále energeticky úspornější, superpočítače začaly i tak topit zprvu jako menší fabriky a pak i městečka. Do statistik proto přibyl příkon v kW a na scéně se objevil ještě sesterský žebříček Green500, který hodnotí superpočítače z hlediska jejich energetické efektivity – tedy z hlediska spočítaných gigaflopsů na jeden watt.

Naučením neuronové sítě propálíme i megawatty

Stejná energetická paralela platí i pro aplikovanou A.I. založenou na současných architekturách strojového učení s využitím neuronových sítí. Zatímco u prvních a jednoduchých sítí všichni zkoumali jen jejich výkon – třeba rychlost a úspěšnost detekce koťátka na vstupní fotografii, dnes si stále více vědců všímá i propálené energie a uhlíkové stopy (Arxiv, PDF).

Klepněte pro větší obrázek
Kompletní strojové učení velké jazykové neuronové sítě (poslední řádek) má stejnou uhlíkovou stopu jako provoz několika automobilů anebo plné letadlo pasažérů z New Yorku do San Franciska a zpět.

Není divu, ty největší neuronové sítě určené třeba pro generování věrohodných textů jako GPT-3 a BERT jsou už totiž natolik komplikované, že si z hlediska spotřeby nezadají právě s malými superpočítači. Pokud by tedy měla být naše společnost založená stále větší měrou na A.I., která se musí stále zdokonalovat, a tedy i učit, dramaticky vzroste i spotřeba elektrické energie.

Klepněte pro větší obrázek
Spotřeba, uhlíková stopa a cena výpočtu v cloudu u několika zkoumaných jazykových neuronových sítí

Současné architektury neuronových sítí totiž sice v základních aspektech kopírují funkci biologických neuronů, to však už ale neplatí o samotném metabolismu mozku. I ten je sice neuvěřitelně hladový a patří k těm energeticky zdaleka nejnáročnějším orgánům našeho těla, nicméně ve srovnání s učením na superpočítačích a se současnými návrhy umělých neuronových sítí to je atlet, který uběhne maraton na jednu malou tatranku.

Strojové učení se musí změnit

Pokud má být tedy A.I. všudypřítomná jako praktický pomocník, návrh celého procesu musí být mnohem efektivnější. Zatímco zmíněný BERT se potřebuje naučit generovat texty na základě korpusu 3,3 miliard slovíček z anglických knih a Wikipedie, přičemž tuto obrovskou databázi přečte mnohokrát po sobě, pětileté dítě mohlo během svého dosavadního života slyšet možná tak 45 milionů slov, a přesto umí generovat mluvené slovo mnohem tvárněji než jakýsi umělý BERT, všímá si Ars Technica.

Pokud nedojde ke změně, s trochou nadsázky časem nedostanou energetické štítky pouze domy, ale i tyto programy z ranku A.I. Jistou úlevou je alespoň učení v datacentrech těch největších technologických ryb, které tento počítačový cirkus stále větší měrou živí pomocí energie z obnovitelných zdrojů. Nejdále je momentálně Google, stejným směrem jdou ale i Microsoft a další.

Diskuze (47) Další článek: The New York Times: Stopy po útoku na SolarWinds mohou vést i do Brna

Témata článku: Google, Microsoft, Umělá inteligence, Doprava, Strojové učení, Neuronová síť, Wikipedia, Elektřina, Energie, Architektura, PDF, Cvičení, Dopravní letadlo, Uhlíková stopa, BERT, Korpus, New York, San Francisco, GPT, Superpočítače, Ars Technica, Stopa, Žrout



Šmírování kamerami Googlu: Koukněte, co nového se zase objevilo na Street View

Šmírování kamerami Googlu: Koukněte, co nového se zase objevilo na Street View

Google stále fotí celý svět do své služby Street View. A novodobou zábavou je hledat v mapách Googlu vtipné záběry. Podívejte se na výběr nejlepších!

redakce
Mapy GoogleStreet View
Antimalware Norton 360 těží kryptoměny. Výrobce si nechává 15% provizi, uživatelé jsou zmatení

Antimalware Norton 360 těží kryptoměny. Výrobce si nechává 15% provizi, uživatelé jsou zmatení

** Norton chrání před těžarskými skripty, sám přitom takový obsahuje ** Některým uživatelům se spouští, aniž by o tom věděli ** Jeho zrušení není úplně triviální

Petr Urban
AntivirusKryptoměnyBezpečnost
Webkamera pro Teams má vypnutý mikrofon. Hovadina roku 2021 od Microsoftu [komentář]

Webkamera pro Teams má vypnutý mikrofon. Hovadina roku 2021 od Microsoftu [komentář]

** Microsoft Modern Webcam je certifikovaná pro Teams. ** Webkamera má standardně vypnutý mikrofon. ** Mikrofon není certifikovaný pro použití v Teams.

Petr Urban
Microsoft TeamsWebkameraMicrosoft
Jak se šíří covid v Česku: Čerstvá data, účinek očkování, mapy okresů, srovnání se světem. Pravidelně aktualizované grafy

Jak se šíří covid v Česku: Čerstvá data, účinek očkování, mapy okresů, srovnání se světem. Pravidelně aktualizované grafy

** Vývoj COVID-19 v Česku: nakažení, úmrtí, testovaní, hospitalizovaní ** Mapa podle okresů, přehled podle věku, situace v Evropě i ve světě ** Pravidelně aktualizované grafy a mapy

Marek Lutonský
COVID-19Koronavirus
Nejlepší programy na úpravu fotek: 11 ověřených tipů, placených i zdarma

Nejlepší programy na úpravu fotek: 11 ověřených tipů, placených i zdarma

** Vybrali jsme nejlepší programy pro úpravu fotek ve Windows ** Pokročilé grafické editory upraví fotografie k nepoznání ** Překvapivě použitelné jsou i aplikace na webu nebo dostupné zdarma

Karel Kilián
Grafický editorNejlepší programySoftware
Recenze SpaceX Starlink. Vesmírný internet v Česku předvádí slibný start

Recenze SpaceX Starlink. Vesmírný internet v Česku předvádí slibný start

** Otestovali jsme v Česku jeden z prvních kusů satelitního internetu Starlink od SpaceX ** Instalace je jednoduchá a vše se dělá přes mobilní aplikaci ** Rychlosti jsou zatím až 270 Mb/s

Karel Javůrek
StarlinkSpaceXTesty
Dead Drops: Nejpomalejší internet na světě je připravený pro planetu po apokalypse

Dead Drops: Nejpomalejší internet na světě je připravený pro planetu po apokalypse

** V roce 2010 se začala rodit síť mrtvých schránek Dead Drops ** Byly jich tisíce, časem se na ně ale zapomnělo ** Vypravili jsme se ke schránce č. 595, která funguje dodnes

Jakub Čížek
ZajímavostiÚložiště