Letos v létě uplynulo rovných deset let od chvíle, kdy se v Ostravě začala psát česká superpočítačová historie. Do areálu VŠB-TUO tehdy dorazila první kontejnerová supermašina Anselm a hned v sousedství se začala rodit jedna z nejsofistikovanějších budov v zemi – areál národního superpočítačového centra IT4Innovations.
Anselm disponoval teoretickým výkonem 94 bilionů výpočtů za sekundu (94 TFLOPS) a sloužil dobře, nicméně hlad po výkonu byl natolik enormní, že jej už následující rok doplnil dvacetkrát svižnější (2 PFLOPS) Salomon, který nás konečně vynesl na globální mapu a v červnovém žebříčku nejrychlejších strojů světa TOP500 tehdy obsadil skvělé 40. místo.
Král je mrtev, ať žijí... Královny
Nic však neilustruje ohromné tempo na poli nejnáročnějších počítačových výpočtů lépe než osud obou mašin. S odstupem několika málo let to jsou totiž už muzejní exponáty, které se dále nevyplatí provozovat. Anselm dotikal zkraje roku 2021 a úspěšný Salomon se odporoučel na jeho konci.
Současné hlavní superpočítače v IT4Innovations
Datový sál s výměrou 500 m² na severní výspě univerzitního komplexu tak dnes okupuje nová dvojka malého a velkého klastru Barbora (849 TFLOPS) a Karolina (15,7 PFLOPS), které doplňuje ještě superpočítač specializovaný pro AI Nvidia DGX-2 (130 TFLOPS).
Superpočítač Karolina v oficiální upoutávce:
Ale i jim už pomalu zvoní hrana
Ani ty se ale v Ostravě neohřejí příliš dlouho, jak totiž napovídá snímek z prezentace Víta Vondráka, šéfa národního superpočítačového centra, děvčata už velmi brzy doplní a posléze nahradí další tandem malého a velkého klastru 3. generace (MC III a VC III). O tom, jaký budou mít výkon, rozhodne až rozpočet a financování ze strany státu.
Minulost, současnost a budoucnost superpočítačů v Ostravě
Příští rok bude pro IT4Innovations v každém případě zajímavý i z toho důvodu, že se dočká svého prvního kvantového počítače s pracovním názvem LUMI-Q.
Prohlédli jsme si unikátní budovu až po střechu
Kulaté výročí bylo skvělou příležitostí, abychom se na superpočítače přijeli podívat osobně, a tak jsme v úterý dopoledne sedli na vlak a vyrazili směr areál Vysoké školy báňské – Technické univerzity Ostrava.
Budova superpočítačového centra na Mapy.cz:
Neznalý kolemjdoucí by si vlastně ničeho nevšiml, národní počítačové centrum totiž na první pohled vypadá skoro jako každá jiná (byť moderní) kancelářská budova. Zdání ale opravdu klame, vše ostatní má totiž průmyslová měřítka.
22 000 voltů a dieselová elektrocentrála
Začněme v suterénu u samotného napájení celé této taškařice. Budova je skrze rozvodnu u Klimkovic připojená k vysokému napětí 22 kV a měla by si poradit s celkovým příkonem až 2,5 MW.
V suterénu se nacházejí rozvody elektřiny
Připojení k elektrické síti bychom tedy měli, ale jen to samozřejmě nestačí. Vše proto jistí ještě záložní systém, který se automaticky spustí v okamžiku, když na vstupu třeba jen o pár hertzů klesne frekvence 50Hz střídavého proudu.
V takovém případě se spustí dieselová elektrocentrála, jejíž motor je neustále v pozoru. To znamená, že je permanentně předehřátý, aby ihned po startu dodával provozní výkon, a s roztočením mu ke všemu pomohou baterie. Díky tomu dokáže vyrovnat výpadek v řádu jednotek sekund.
Než naskočí diesel, elektřinu vyrobí setrvačník
Nicméně i to je příliš – křemíková děvčata a jejich chlazení o nějaké to patro výše jsou žíznivé a jakákoliv nestabilita by pro ně byla vražedná. A především pro vědce a inženýry, kteří na nich díky grantům i vlastním zdrojům právě teď počítají nějaký velmi drahý výzkum.
V případě problémů s elektřinou ze sítě naskočí diesel motor
Těch několik sekund nejistoty proto konečně jistí rotační akumulátor – těžký setrvačník. Dokud je vše v pořádku, elektromotor jej udržuje ve stabilních vysokých otáčkách, no a jakmile dojde šťáva, setrvačník začne zpomalovat a vybíjet svoji kinetickou energii právě na elektřinu.
Systém vodního chlazení vytápí celou budovu
Výborně, napájení bychom tedy měli, takže hurá do dalšího patra, kde na nás už čeká mohutný systém chlazení s výkonem 2,6 MW. Superpočítačům odebírá teplo kapalina, která do nich proudí pod podlahou pomocí pěti studených (8°C-15°C) a teplých (30°C-35°C) okruhů s přípojnými body prakticky po celé ploše sálu.
Systém vodního chlazení s několika teplými a studenými okruhy. Vedení kapaliny i napájení vede do datového sálu v mohutném prostoru pod zvýšenou podlahou
Jelikož odpadní teplo vyrobily poměrně drahé superpočítače, IT4Innovations se jej snaží alespoň trochu dále zužitkovat. Skrze systém tepelných čerpadel proto slouží pro vytápění celé budovy a ohřev užitkové vody.
Odpadní teplo dále využívají tepelná čerpadla pro vytápění budovy a ohřev užitkové vody. Výkon superpočítačů tak přeneseně pocítíte i v kancelářské kuchyňce a na toaletě
Tepelné výměníky na střeše
Veškeré ostatní teplo konečně míří mohutným potrubím na střechu, kde se nacházejí tepelné výměníky, které dle konstrukce a typu okruhu buď jen skrze drobné žebroví předávají teplo okolnímu vzduchu, anebo se o výraznější ochlazení postará kompresor a chladící okruh nepříliš vzdálený běžné kuchyňské lednici. Byť ve větším měřítku.
Mohutná žebroví střešních chladičů, kde kapalina předává teplo okolnímu vzduchu
Tolik tedy ke chlazení a teď už z úterní a opravdu rozpálené střechy superpočítačové budovy rychle zpět do datového sálu, který se ve vertikálním řezu nachází zhruba uprostřed.
Dodatečné kompresorové chladiče pro výraznější snížení teploty
Nemáte někdo problém se srdcem a plícemi?
Než nás zdejší správce vpustil za utěsněné dveře, museli jsme si nejprve vyslechnout bezpečnostní pravidla a podepsat prezenci a poučení, v datovém sále by se totiž nebohá lidská schránka měla vyskytovat nejvýše desítky minut.
V popředí superpočítač Karolina a v pozadí další superpočítače. Datový sál je díky pokročilému vodnímu chlazení tišší než běžná serverovna. Také klima bylo příjemné
„Má tady někdo problémy s plícemi, nebo srdcem? Kdyby se někomu udělalo nevolno, okamžitě mi řekněte a vyvedu vás,“ vyslechli jsme si a s velkým otazníkem, co se proboha stane, vstoupili za utěsněné dveře.
Upravená atmosféra s 15 % kyslíku
Jádro národního superpočítačového centra totiž používá umělou atmosféru. Zatímco přirozený vzduch obsahuje z hlediska objemu zhruba 21 procent kyslíku, v datovém sále to bylo řízeným přimícháváním dusíku pouze 15 procent.
Karolinu tvoří dvě řady serverových skříní. V datovém sále je díky odvodu tepla pod podlahu relativně příjemné klima a menší hluk než v obvyklé serverovně
Pro lidský organizmus je to stejná facka, jako byste se rázem ocitli v nadmořské výšce okolo 3 000 m n.m. Leckterý zkušený lyžař by nám sice mohl namítnout, že podobnou hladinu hravě překoná kdejaká alpská sjezdovka, tady se ale bavíme o okamžitém šoku bez možnosti sebemenší aklimatizace – takhle rychle vás prostě na horní stanici nevyveze žádná lanovka.
Ve skupince novinářů z Prahy, Brna a Olomouce nakonec nikdo nezkolaboval, a tak jsme si mohli vyslechnout, k čemu vlastně umělá atmosféra slouží. S vyšší koncentrací dusíku na úkor kyslíku jednoduše dramaticky poklesne pravděpodobnost požáru, který by v tomto případě způsobil nedozírné škody.
Moderní superpočítač je hustě propojená síť
Jen co jsme se rozdýchali, konečně jsme si mohli prohlédnout skříně samotné Karoliny. Karolina je superpočítačový klastr od Hewlett Packard Enterprise, což v praxi znamená, že je to vlastně velmi rychlá síť (200 Gb/s) propojených počítačů, které jsou určené pro různé výpočetní úlohy a k dispozici mají 1,4PB úložiště.
Serverové skříně Karoliny s různou funkcí od sítě po univerzální výpočty a akcelerátory
Pojďme si to rozdělit podle celkového teoretického výpočetního výkonu 15,7 PFLOPS:
- 3,8 PFLOPS tvoří 720 univerzálních serverů každý se dvěma procesory AMD Zen 2 EPYC 7H12 (2,6 GHz) pro běžné numerické výpočty. Dohromady to dělá nějakých 92 160 procesorových jader
- 11,6 PFLOPS tvoří 72 akcelerovaných serverů každý se dvěma procesory AMD Zen 3 EPYC 7763 (2,45 GHz) a osmi GPU jednotkami Nvidia A100 pro akcelerované simulace na CUDA a poslední roky stále větší měrou i pro strojové učení a neuronové sítě z ranku AI
- 0,2 PFLOPS tvoří 36 serverů pro cloudové služby opět s procesory AMD Zen 2 EPYC 7H12
- A to vše doplňuje ještě datově-analytická část s procesory Intel Xeon-SC 8268, jejíž hlavní devízou je obrovská 24TB paměť
O vnitřní chlazení celého kolosu, které předává teplo již zmíněným centrálním vodním okruhům, se stará technologie ARCS (HPE Adaptive Rack Cooling System).
Chladicí systém ARCS od HPE a jeho stavové obrazovky na každé jednotce
Akcelerátorů bude přibývat
Uf, jak vidno, současné klastrové superpočítače jsou opravdu docela heterogenním organizmem, kde se každá část hodí na něco jiného a hraje se hlavně o to, která z nich bude převažovat.
Superpočítačové výpočty se stále více orientují na strojové učení, neuronové sítě a AI obecně. IT4Innovation pak vyvíjí i vlastní systémy pro snazší využívání superpočítačů ze strany státní správy a dalších organizací
A jelikož poslední roky stále více sílí hlad po akcelerovaných výpočtech potřebných zejména pro AI, už dnes je jisté, že se poměr univerzálních serverů vůči těm akcelerovaným u nástupců Karoliny a Barbory opět změní a ve prospěch GPU.
Není petaflops jako petaflops
Aby si vědci vše zjednodušili a mohli sledovat a porovnávat vývoj v oblasti superpočítačů, vytvořili benchmark Linpack, který se pokouší změřit maximální teoretický výkon mašiny tak, že pomocí výpočtů s reálnými čísly zatíží všechna jádra všech procesorů celého clusteru.
Díky tomu se pak dobereme onoho možná trošku zavádějícího čísla 15,7 PFLOPS – tedy 15,7 biliard výpočtů s desetinnou čárkou za sekundu. Problém totiž spočívá v tom, že superpočítače nestavíme proto, abychom na nich pak spouštěli na míru stavěné benchmarky, ale reálné (a tedy nedokonalé) programy a mnohdy i letité vědecké knihovny.
Superpočítač Karolina má teoretický výkon až 15,7 PFLOPS, toho ale dosáhne leda tak měřící benchmark a v praxi se superpočítače používají trošku jinak
V praxi by tedy takového výkonu žádná obvyklá softwarová úloha nedosáhla, protože jednoduše neumožňuje tak ohromný paralelismus, abychom ji dokázali rozdělit na desítky tisíc dílčích vláken, z nichž každé bude ve stejný čas zpracovávat jedno procesorové jádro celého složitého organizmu.
Stejný problém jako na domácím počítači
Ostatně, dobře to znáte ze svých vlastních počítačů, kdy jen kroutíte hlavou, proč nějaký náročný výpočet v programu vytěžuje třeba jen jedno jádro vašeho špičkového mnohojádrového procesoru, a tak je nakonec software vlastně skoro stejně pomalý jako na jednodušším laptopu vaší maminky.
Karolina její uživatelé v číslech
Software na superpočítačích zápolí se stejnými principiálními překážkami. A tak je nakonec reálný výkon praktických aplikací zpravidla mnohem nižší. Moderní superpočítače i z tohoto důvodu stavíme proto, aby na nich vedle sebe mohla běžet hromada dílčích výzkumů různých klientů a nikoliv jen jeden.
Karolina a další mašiny z Ostravy nejsou výjimkou. S nejrychlejším počítačem v Česku si v letech 2013-2023 pohrálo 2007 uživatelů na 417 projektech. Karolina pro ně zpracovala 1,8 milionů výpočetních úloh.