Když skupina vědců před necelými 28 lety sestavila první žebříček nejrychlejších superpočítačů světa TOP500, všechny zajímal jen výpočetní výkon a procesorová architektura.
Jenže superpočítače se začaly zvětšovat, relativně malé krabice nahradily rozsáhle clustery serverových skříní a počet CPU/GPU jader v jednom systému poskočil ze stovek a tisíců na miliony!
Byť byly procesory postupně stále energeticky úspornější, superpočítače začaly i tak topit zprvu jako menší fabriky a pak i městečka. Do statistik proto přibyl příkon v kW a na scéně se objevil ještě sesterský žebříček Green500, který hodnotí superpočítače z hlediska jejich energetické efektivity – tedy z hlediska spočítaných gigaflopsů na jeden watt.
Naučením neuronové sítě propálíme i megawatty
Stejná energetická paralela platí i pro aplikovanou A.I. založenou na současných architekturách strojového učení s využitím neuronových sítí. Zatímco u prvních a jednoduchých sítí všichni zkoumali jen jejich výkon – třeba rychlost a úspěšnost detekce koťátka na vstupní fotografii, dnes si stále více vědců všímá i propálené energie a uhlíkové stopy (Arxiv, PDF).
Kompletní strojové učení velké jazykové neuronové sítě (poslední řádek) má stejnou uhlíkovou stopu jako provoz několika automobilů anebo plné letadlo pasažérů z New Yorku do San Franciska a zpět.
Není divu, ty největší neuronové sítě určené třeba pro generování věrohodných textů jako GPT-3 a BERT jsou už totiž natolik komplikované, že si z hlediska spotřeby nezadají právě s malými superpočítači. Pokud by tedy měla být naše společnost založená stále větší měrou na A.I., která se musí stále zdokonalovat, a tedy i učit, dramaticky vzroste i spotřeba elektrické energie.
Spotřeba, uhlíková stopa a cena výpočtu v cloudu u několika zkoumaných jazykových neuronových sítí
Současné architektury neuronových sítí totiž sice v základních aspektech kopírují funkci biologických neuronů, to však už ale neplatí o samotném metabolismu mozku. I ten je sice neuvěřitelně hladový a patří k těm energeticky zdaleka nejnáročnějším orgánům našeho těla, nicméně ve srovnání s učením na superpočítačích a se současnými návrhy umělých neuronových sítí to je atlet, který uběhne maraton na jednu malou tatranku.
Strojové učení se musí změnit
Pokud má být tedy A.I. všudypřítomná jako praktický pomocník, návrh celého procesu musí být mnohem efektivnější. Zatímco zmíněný BERT se potřebuje naučit generovat texty na základě korpusu 3,3 miliard slovíček z anglických knih a Wikipedie, přičemž tuto obrovskou databázi přečte mnohokrát po sobě, pětileté dítě mohlo během svého dosavadního života slyšet možná tak 45 milionů slov, a přesto umí generovat mluvené slovo mnohem tvárněji než jakýsi umělý BERT, všímá si Ars Technica.
Pokud nedojde ke změně, s trochou nadsázky časem nedostanou energetické štítky pouze domy, ale i tyto programy z ranku A.I. Jistou úlevou je alespoň učení v datacentrech těch největších technologických ryb, které tento počítačový cirkus stále větší měrou živí pomocí energie z obnovitelných zdrojů. Nejdále je momentálně Google, stejným směrem jdou ale i Microsoft a další.
