Hlavní ozdobou včerejší akce GTC 21 byly procesory Grace. Díky nim bude Nvidia moci stejně jako konkurence nabízet ucelená serverová řešení kombinující vlastní CPU i GPU. Slibuje přitom až desetkrát vyšší výkon při trénování AI než konkurence v podobě Intelu a AMD.
Grace proti Epycům a Xeonům
Jméno odkazuje na americkou programátorku Grace Hopper, která mj. pomohla vytvořit jazyk COBOL. Grace se bude spoléhat na architekturu Arm, Nvidia však vzdala snahy vytvořit vlastní jádra (nástupce mikroarchitektur Denver a Carmel), ale spolehne se na referenční design Arm Neoverse, což jsou ryze serverové jednotky stojící vedle „spotřebitelských“ Cortexů. Ty už najdeme například v Gravitonech od Amazonu nebo Altrách od Amperu.
Výrobní technologii, takty, počet jader ani typ jádra zatím neznáme. Můžeme jen tipovat, že Nvidia už sáhne po budoucích jádrech Neoverse založených na nové instrukční sadě Armv9.
Šéf firmy Jensen Huang uvedl jeden absolutní a jeden relevantní údaj. V testu SPECrate2017_int_base má Grace nabídnout přes 300 bodů, což je meta, na kterou dnes dosáhnou 64jádrové systémy od Intel i AMD. A onen 10× vyšší výkon se má týkat trénování neuronových sítí (NLP modelů) s jedním bilionem parametrů.
Procesor Grace má být v AI operacích až 10× výkonnější než AMD a Intel
Procesor bude využívat paměti typu LPDDR5x s propustností přes 500 GB/s. AMD Epyc Milan má s osmi kanály DDR4-3200 „jen“ zhruba 205 GB/s. Nvidia samozřejmě slibuje podporu ECC a díky typu pamětí několikanásobně nižší spotřebu. Jenže čipy budou muset být připájené těsně k procesoru, nepůjde o jednoduše upgradovatelné řešení, jak jsou tvůrci serverů zvyklí.
Další výhodou Grace má být rozhraní NVLink 4, které má odstranit úzká hrdla při komunikaci čipů. Mezi procesory budou data proudit rychlostí 600 GB/s (součet obou směrů), mezi CPU a GPU pak dokonce 900 GB/s. PCIe 4.0 ×16 zvládne v součtu jen 64 GB/s. NVLink 4 se bude hodit i k tomu, že CPU a GPU budou sdílet adresní prostor a procesor bude moci velmi rychle přistupovat k pamětem HBM2e, které budou na připojených výpočetních kartách. Síla Grace by se tak měla projevit v úlohách a nastaveních, kde je brzdou paměťová propustnost, nikoliv výkon CPU.
Jak si Grace povede v praxi, se dozvíme nejdříve za dva roky. Nvidia už podepsala smlouvu na dodávku superpočítačů pro švýcarské centrum CSCS a americkou Los Alamos National Laboratory, v obou případech servery zhotoví HPE.
Tříčipová firma
Nvidia sama sebe označuje na tříčipovou společnost a každý rok uvede jednu důležitou architekturu. Kromě GPU a nových CPU totiž stojí ještě za DPU (data processing unit). To jsou speciální čipy, které se starají o síťovou konektivitu, připojení datových polí a zabezpečení dat. Tyto technologie mají na svědomí experti z Mellanox Technologies. Firmy, kterou Nvidia koupila před dvěma lety za necelých sedm miliard dolarů.
Postupný vývoj DPU
Aktuální DPU BlueField-2 dalo vzniknout síťovým kartám se dvěma 100Gb/s porty, které lze spojit do jednoho 200Gb/s. Nvidia už ale připravuje nástupce, který zvýší propustnost na dvojnásobek. V roce 2024 přijdou BlueField-4 s rychlostí až 800 Gb/s, který spolkne masivních 64 miliard tranzistorů.
V jedné roadmapě pak Nvidia ukázala, že nové generace CPU, GPU i DPU chce vydávat co dva roky. Zatímco letos žádná novinka nedorazí, příští rok přijde nástupce GPU Ampere a BlueField-3, v roce 2023 to bude Grace, v roce 2024 pak další nové GPU a BlueField-4. A pro sezónu 2025 můžeme očekávat další generaci CPU.
Roadmapa CPU, GPU a DPU od Nvidie
Roadmapa ani jiné informace Nvidie zatím nenasvědčují tomu, že by firma měla vyvíjet procesory i pro běžné desktopy nebo mobily. Pokud jí úřady schválí akvizici Armu, tak je samozřejmě bude navrhovat a licencovat ostatním, ale proti Core a Ryzenům zatím nic nepostaví. Ostatně, včera rovněž oznámila, že do armových počítačů dodá pouze grafické čipy. Dohodla se na tom s MediaTekem.
Na rok 2025 pak chystá „superčip“ Atlan, který ponese její CPU (nástupce Grace), GPU (nástupce Ampere) a DPU (Bluefield 2?) s AI výkonem jedné biliardy TOPS, čehož mají využít výrobci samořiditelných aut. Současná platforma Xavier má jen 30 TOPS, příští rok se ve vozech objeví Orin s 254 TOPS.
Zdroj: Nvidia