Microsoft významně rozšiřuje schopnosti DirectML. Tato softwarová knihovna umožňuje hardwarovou akceleraci úloh strojového učení na grafických kartách (GPU) podporujících DirectX 12. Nyní se ale k tomu přidávají i neurální koprocesory (NPU) na moderních procesorech.
Aktuálně jde hlavně o podporu procesorů Qualcomm Snapdragon X Elite a X Plus, které pohánějí Copilot+ PC. Jejich NPU Hexagon slibuje výkon 45 TOPS pro akceleraci AI výpočtů. Podporují se sice i starší NPU v procesorech Intel Core Ultra, ty ale mají zhruba čtyřikrát nižší výkon a pro větší úlohy je u nich vhodnější zapojit přímo procesor a grafiku Intel Arc.
Součástí nových Snapdragonů je výkonná NPU Hexagon
Podpora v rámci DirectML hlavně zjednodušší vývojářům život. Nebudou muset řešit různé aplikační knihovny přímo od výrobců a podobně jako s DirectX pro grafické karty jen pošlou pokyn na zpracování.
Například nyní, když testujeme AI výkon jednotlivých počítačů, musíme vybírat konkrétní test pro konkrétní platformu a testy přes DirectML nedokázaly zatím přímo porovnat AI výkon různých NPU jedním univerzálním testem.
Aktuální ohlášení podpory NPU na Snapdragonu tedy neznamená nějaký okamžitý přínos pro uživatele, ale nezbytný základ pro to, aby počet aplikací využívajících lokálně počítané AI na počítači příjemně vzrostl.
Podobně bude ještě třeba začlenit podporu pro výkonné NPU jednotky v již dostupných procesorech Ryzen AI a na začátku září uvedených procesorů Intel nové generace.
Microsoft nachystal několik ukázek WebNN
Druhá novinka Microsoftu se týká podpory NPU ve WebNN. Pokud jste zatím o WebNN neslyšeli, nic se neděje. Jde o nový webový standard pro spouštění modelů strojového učení přímo v prohlížeči. Dovolí přitom webovým aplikacím využít akceleraci pomocí lokální grafické karty nebo nově i pomocí NPU koprocesoru. Zatím je jen v ranném vývoji.
Opět jde o důležitou zprávu pro vývojáře. Pro aktuální funkčnost potřebujete insider verzi prohlížeče Edge s povoleným WebNN a netriviální konfiguraci. Vývojáři to ale zvládnou a budou moci začít pracovat na lepší podpoře lokálně počítaného AI v běžných webových aplikacích.
zdroj: Microsoft
