Meta před rokem ukázala první generaci AI akcelerátoru nazvaného MTIA (Meta Training and Inference Accelerator). Vývoj vlastního hardwaru má evidentně smysl, protože firma už představuje MTIA v2. Podrobnosti o specifikacích tají, ale výkon a paměťová propustnost prý stouply minimálně na dvojnásobek. A od toho se už odrazit můžeme.
První generace byl malý čip vyrobený 7nm litografií u TSMC a dosahoval výkonu 51,2 TFLOPs v přesnosti FP16 a 102,4 TFLOPs v přesnosti INT8. Kolem logických obvodů měl vlastní 128MB SRAM. To vše při 25W TDP. Čipy se pak pájely na PCIe 4.0 ×8 karty s až 128 GB RAM (LPDDR5) a celý akcelerátor spotřeboval nanejvýš 35 wattů.
Je-li novinka více než dvakrát rychlejší, nabídne přes 200 TOPs v přesnosti INT8. To je hluboko pod úrovní akcelerátorů jako Nvidia B200, který zvládá 4500 TOPs, ale zase výrazně nad možnosti NPU, jež výrobci integrují do běžných procesorů. Intel je u Meteor Laku na 10 TOPS, AMD u Hawk Pointu na 16 TOPs, Apple v M3 dává 18 TOPs, nadcházejících Snapdragon X Elite zvládne 45 TOPs.
MTIA ostatně ani nemá být konkurencí obřích čipů od Nvidie, firma na nich nebude trénovat velké jazykové modely. Cílem bylo vytvořit efektivní čip s co nejlepším poměrem výkon/spotřeba pro běh doporučovacích a třídicích systémů, které Meta používá na Facebooku a Instagramu. Farma malých úsporných akcelerátorů rozhoduje o tom, jaký obsah lidé uvidí v aplikacích a jaká reklama je pro ně nejvhodnější. I na tohle už firma používá neuronové místě místo klasických algoritmů.
Meta však zároveň dodává, že pracuje na dalších čipech včetně těch, které nasadí i pro generativní AI. Vydá se tak cestou Microsoftu, Googlu nebo Amazonu, tyto firmy už rovněž vyvíjejí vlastní velké akcelerátory, aby nebyly závislé na dodávkách od Nvidie nebo AMD.