OpenAI a Google se chlubily svými novinkami minulý týden a tento už patří Microsoftu a jeho výroční konferenci Build. Laťka je hodně vysoko, všichni totiž mluví o multimodální AI, která čte, vidí a slyší. V Redmondu nechtěli nechat nic náhodě, a proto už včera ukázali nové armové počítače Copilot+, které také ovládá AI a prý budou rychlejší než konkurence od Applu.
Satya Nadella odstartoval Build a poukázal na zajímavý fenomén. Nástup AI chatbotů mění dosavadní uživatelské rozhraní a rodí se jakési nové a univerzální – políčko s promptem
V úterý pokračovala jízda v Seattlu, který bude příští tři dny hostit na čtyři tisíce vývojářů z celého světa. Dalších 200 tisíc se zaregistrovalo alespoň online a zatíží transatlantické linky sledováním úvodní keynote a dalšího programu v prohlížeči.
Copilot+ běží na Phi-Silica a brzy i na x86
Co jsme se dozvěděli hned první den? Nové počítače Copilot+ dílem pohání speciálně upravený malý jazykový model (SLM) Phi-Silica s 3,3 miliardami parametrů, který utáhne přímo armový NLP koprocesor.
Phi-Silica je maličký jazykový model, který běží přímo na nových armových počítačích Copilot+ a nepotřebuje špičkovou grafiku od Nvidie. Zvládne třeba sumarizaci textu atp.
V následujících měsících se nicméně Copilot+ dostane i na klasické počítače s procesory od Intelu, AMD a s grafikami Nvidia. Nejedná se tedy o technologii, která by měla být exkluzivní pouze pro armové mašiny s konkrétním čipsetem.
Windows Copilot Runtime
Microsoft na Buildu blížeji vysvětlil, jak to všechno bude v nitru počítače vlastně fungovat a že budou moci AI používat i tvůrci dalších aplikací pro Windows. V operačním systému se totiž objeví celá nová vrstva, knihovny a aplikační rozhraní pro více než 40 různých modelů AI.
Aby mohla být AI součástí Windows, je třeba připravit knihovny a rozhraní pro vývojáře. Microsoft tomu říká Windows Copilot Runtime
Microsoft tomu říká Windows Copilot Runtime, Windows Copilot Library a celé to doplňuje ještě tzv. Windows Semantic Index. Právě ten pohání novou funkci Recall (viz včerejší článek) a je to vlastně AI obdoba indexování souborů na pozadí.
Windows Copilot Library je balík několika desítek modelů a API pro vývojáře na Windows
Podstatné je to, že se díky těmto technologiím dostanou ke kouzlení s AI i vývojáři dalších aplikací pro Windows a bez znalosti programování samotné umělé inteligence.
Bude to pro ně prostě stejné, jako když na tomto operačním systému použijí třeba nějakou vestavěnou knihovnu pro práci s obrázky, aniž by museli programovat vlastní dekodér JPEG atp.
Windows budou nativně podporovat oblíbenou knihovnu pro strojové učení PyTorch
Do Windows dorazí také podpora dalších oblíbených knihoven pro strojové učení a práci s neuronovými sítěmi. Zejména PyTorch. Na nejnižší úrovni se o vše postará vrstva DirectML – jakási obdoba DirectX pro AI.
Copilot úplně všude
Copilot se už dávno stal synonymem generativní a analytické AI od Microsoftu pro běžné smrtelníky i organizace. Jeho pronikání do všech sfér redmondské korporace nadále pokračuje, takže nově zamíří ještě hlouběji do služby Teams. Microsoft tomu říká Team Copilot a je to vlastně další účastník chatu a jakási virtutální sekretářka, která se postará o vše potřebné.
Team Copilot jako další účastník chatu a virtuální sekretářka
Microsoft se nakonec pochlubil také svým vylepšeným webovém prostředím Copilot Studio, ve kterém si mohou firmy poskládat své vlastní odvozené kopiloty bez jediné řádky kódu.
V Copilot Studiu si firmy poskládají své vlastní odvozené kopiloty
Microsoft vyvíjí Copilot Studio už nějaký pátek, na Buildu jej ale uvolnil širší vývojářské komunitě.
Armové procesory Cobalt v ostrém provozu
Ale zpět k armových procesorům, ve světě Microsoftu totiž velkou měrou zamíří i do cloudu. Velcí provozovatelé datacenter s nimi experimentují už roky, což by mělo přinejmenším výhledově děsit zejména vedení Intelu a ty, kteří v něm mají na starost serverové xeony.
Microsoft ve veřejném preview zavádí vlastní armové procesory Cobalt na Azure. Poslední měsíce se staraly třeba o videokonference Teams a Microsoft 365
AWS má své armové Gravitony, ostatní zavádějí čipy od společnosti Ampere a Microsoft se už loni pochlubil procesory Cobalt. Teď se konečně dostávají v testovacím režimu do Azure a zákazníci na nich mohou spouštět virtuální servery.
Microsoft chce už příští rok pohánět datacentra výhradně elektřinou z obnovitelných zdrojů. Potřebuje tedy energeticky co nejefektivnější železo
Microsoft se na Buildu pochlubil, že je nejnovější Cobalt energeticky nejefektivnější armový procesor, který kdy nasadil. To je klíčový údaj pro jeho datacentra a zároveň důvod, proč ARM stále více nasazují i ostatní velké cloudy.
Azure je nejrychlejší cloudový superpočítač
Pronikání architektury ARM na Azure ale samozřejmě neznamená, že se snad Microsoft vzdá tradičních čipů. Právě naopak. Může je ale lépe využívat a efektivněji škálovat.
Azure je nejrychlejší cloudový superpočítač
Satya Nadella se tak na úvodní přednášce prsil, že je dnes Azure nejvýkonnějším cloudovým superpočítačem na světě, který disponuje výkonem 561 PFLOPS.
Google se sice na nedávném I/O pochlubil, že ve své infrastruktuře už příští rok nasadí nejnovější a doposud nejrychlejší serverové akcelerátory od Nvidie, Nadella ovšem kontroval oznámením ještě užšího partnerství s Nvidií. Blackwelly proto samozřejmě zamíří i do jeho datacenter.
Microsoft chce být ještě větší kamarád s Nvidií
A velký kamarád bude Microsoft také s AMD, jako první totiž zavede jeho AI akcelerátory ND MI300X v5, které se prý optikou poměru cena/výkon hodí třeba pro inferenci s GPT-4.
Jen pro upřesnění, zatímco výpočetně mnohem náročnější učení GPT-4 probíhá na grafikách Nvidie, inference – tedy používání (hotové) AI – už může být ekonomičtější na jiném (a levnějším) železe. Tedy pokud se alespoň bavíme o velkém cloudu, kde jde o každý ušetřžený watt, a nikoliv o domácích experimentech s nějakou tou nabušenou herní GeForce.
A s AMD také...
Opět se nabízí zvídavá otázka: Kde je Intel a jeho AI akcelerátory Gaudi? Neujíždí tady někomu tak trošku vlak?
Azure AI používá padesát tisíc firem
A kdo to AI na Azure vlastně používá? Satya se v úvodní řeči vytasil s obrázkem, podle kterého infrastruktura Azure AI oslovila už více než padesát tisíc organizací.
Tito všichni používají AI na Azure a teď si budou moci vychutnat i nejnovější multimodální model GPT-4o, chlubí se Nadella
V cloudu na výkonném železe se dostanou jak k nejnovějšímu multimodálnímu modelu GPT-4o (Omni), tak ke všem ostatním AI technologiím Microsoftu pro vývojáře.
Všemodální GPT-4o v demu na Windows
Satya nejnovější Omni demonstroval na speciální verzi Copilota pro Windows, se kterou si mohl uživatel povídat při hře Minecraft. Copilot nejen slyšel, ale i viděl dění na obrazovce a radil, co má uživatel dělat.
GPT-4o sleduje obrazovku Windows a radí, jak hrát Minecraft:
Na konferencích OpenAI a Googlu jsme viděli podobnou AI, jak v reálném čase pomocí kamery v mobilu sleduje dění v okolí, takže Microsoft musel ukázat něco podobného. Volba (jeho) Minecraftu a sdílení plochy Windows s AI se přímo nabízela a bylo to přinejmenším roztomilé.
Multimodální maličká AI Phi-3 Vision
Microsoft se už dříve pochlubil novou generací malých jazykových modelů Phi-3 a na Buildu představil jeho vylepšenou verzi Phi-3 Vision. Jak už název napovídá, je to první multimodální malý jazykový model, který nejen že dokáže číst, ale také vidět – zpracovávat obraz.
Nový malý multimodální model Phi-3 Vision a jeho schopnost analyzovat obrázek
Model je opravdu maličký, disponuje jen 4,2 miliardami parametrů (o několik řádů méně než velké modely, které potřebují k běhu superpočítač), o to úctyhodnější ale je, že by měl Phi-3 Vision podle Microsoft pochopit třeba nahraný obrázek grafu a povídat si o něm. Ostatně, podívejte se na obrázek výše, kde Phi-3 popisuje nahraný diagram.
Malé modely jsou poslední rok dalším velkým tématem a Microsoft společně s Googlem jejich klíčovými propagátory. Zatímco MIcrosoft je potřebuje dostat na Windows, Google pochopitelně na telefony s Androidem.
Naše malé jazykové modely Phi-3 jsou ze všech nejefektivnější, chlubí se Nadella. Zvláště v poměru kvalita/velikost
Právě proto je tak důležitý poměr velikost/kvalita. Malý model se musí vejít do omezené RAM běžného počítače a musí jej utáhnout energetický úsporný AI koprocesor – NLP –, nebo běžné domácí GPU a CPU. Zároveň ale musí být dostatečně chytrý, aby to celé dávalo vůbec nějaký smysl.
GitHub Copilot Extensions
A nakonec zbyl prostor i na starý dobrý GitHub. AI pomocník pro vývojáře GitHub Copilot byl prvním svého druhu na bázi GPT od OpenAI. Na scénu totiž dorazil o celý rok dříve než ChatGPT. Vylepšení se nakonec dočkal i na Buildu.
Mnozí univerzální AI chatboti už doplňky mají, tak proč je nedát i do GitHub Copilot, řekl isi v Microsoftu. Tento na obrázku rozšíří schopnosti o Docker, takže třeba poradí, jak ho nastavit
Microsoft mu nadělil podporu doplňků, díky kterým může být napojený na mnohé webové služby a zdroje informací a může radit programátorům ještě o něco lépe. Funkce je zatím k dispozici v podobě preview na pozvánky.
Úvodní keynote přinesla hromadu dalších novinek z podnikového světa Microsoftu a i tam je AI ústředním motivem konference. Ta toho v následujících dnech přinese ještě více a veškerý program můžete sledovat na webu, kde najdete i záznam úvodní přednášky.