Pařížské studio Mistral AI vypustilo do světa svůj velký jazykový model Mistral Large. Nechci to zakřiknout, ale možná by to mohlo být fakt velké a Evropa by konečně nemusela být za otloukánka, kterému stále dokola ujíždí vlak.
Tak to totiž poslední dva roky skutečně vypadalo. Zatímco relativně malé americké firmy jako OpenAI, Midjourney nebo třeba Anthropic (chatbot Claude) chrlily jednu novinku za druhou, Evropa na to všechno jen zírala a zmohla se leda tak na regulaci.
Zatímco USA dělaly revoluci, EU regulaci
Ne že by byla regulace zbytečná – je v nějaké formě určitě potřebná –, když ale na svém společném pětisetmilionovém trhu nevygenerujete ani jeden podobný startup, vypadá to stejně trapně, jako když se Angola rozhodne, že nám na severu bude diktovat, jak hrát lední hokej.
Evropa zpět ve hře
Tentokrát je to ale jiné, Mistral se totiž dušuje, že jeho velký jazykový model překonává ve standardních testech MMLU apod. drtivou většinu konkurence. Lepší – ale jen trošku – má být údajně jen GPT-4.
Mistral se chlubí, že jeho nový model Large dosahuje podobného skóre v MMLU jako GPT-4
MMLU je zkratkou pro Massive Multitask Language Understanding a společně s dalšími je to dnes už jedna z mnoha standardních metod, jak testovat schopnosti chatbotů.
Ty ve své podstatě hodnotíme velmi podobně jako studenty ve škole. MMLU totiž není nic jiného než multioborová písemka s desítkami úkolů z matematiky, dějepisu, informatiky nebo třeba práva.
Mistral Large v aplikaci Le Chat
Papír nicméně snese ledacos, takže kde si schopnosti Mistral Large ověřit v praxi a na vlastní klávesnici? Zatímco OpenAI má pro koncové uživatele ChatGPT, Microsoft Copilota a Google zase Gemini, chatbot od Mistralu se jmenuje Le Chat. Svůj původ prostě nezapře.
Le Chat jako by z oka vypadl ChatGPT
A protože žijeme v opravdu dynamické době, zatímco ještě ráno nefungoval a byl k dispozici jen na pozvánky, v podvečerních hodinách jsem se k němu dokázal přihlásit skrze účet Googlu i Microsoftu. Zkuste to také.
Modely Large, Next, Small a skrze API 14 dalších
Le Chat je součástí platformy pro vývojáře, kteří mohou k velkému jazykovému modelu přistupovat automatizovaně skrze API a v téměř identickém formátu, jak to dělá OpenAI. Velmi podobně nakonec vypadá i rozhraní chatu.
Každý, kdo si alespoň jednou vyzkoušel ChatGPT, se bude v Le Chatu cítit jako doma. Vlevo je panel s historií jednotlivých debat, vpravo pak okno pro dialog. A protože Mistral nabízí hned několik jazykových modelů, můžete si ten vhodný zvolit z roletky v pravém horním rohu:
- Large: Model s nejvyšší mírou porozumění
- Next: Prototyp, který slibuje věcnost a stručnost
- Small: Malý a rychlý model
Vývojáři se skrze API dostanou dokonce ke čtrnácti speciálním verzím Mistralu pro různé účely a naučené k různému datu.
Mistral Large skrze API jako desktopový Chatbot Živák
Francouzští inženýři se pochlubili, že Mistrala trénovali nejen v univerzální angličtině, ale pochopitelně také v rodné francouzštině a dále němčině, španělštině a italštině.
Ahoj, prosím tě, kolik je 1+1?
Tady jsme ale v Česku, se všemi ostatními si můžeme povídat v rodné řeči, no a právě překonávání jazykových bariér by mělo být jedním z hlavních přínosů umělé inteligence.
A tak jsem se robota bez obalu a rovnou česky zeptal:
Ahoj, prosím tě, kolik je 1+1?
Jak vidíte na snímku níže, Mistral Large sice odpověděl anglicky, nicméně českému povelu porozuměl, takže když jsem ho pobídnul, aby napříště komunikoval česky, už se toho držel.
Umí spočítat 1+1, ale hlavně rozumí česky!
Překvapila mě rychlost. Mistral sesumíroval odpověď prakticky okamžitě a ještě rychlejší byl, když jsem zkoušel jeho další varianty Next a Small – pak jsem se dočkal kompletní reakce prakticky do sekundy.
Spočítej objem válce
Inženýři z Paříže se chlubí, že dá Mistral Large levou zadní jak matematiku, tak programování, čili trošku přitvrdím a opět se v češtině zeptám na objem válce:
Mějme válec s poloměrem základny 10 cm a výškou 50 cm. Spočítej jeho objem.
Spočítej objem válce
Generování odpovědi bylo tentokrát už o něco delší, stále však srovnatelné s konkurencí a za pár sekund už na monitoru svítil správný postup výpočtu, a hlavně korektní hodnota 15 708 cm³.
Najdi syntaktickou chyby v kódu
Mistral se zároveň chlubí, že umí velmi slušně analyzovat a snad i psát programový kód, a tak ho poprosím, aby našel a opravil syntaktické chyby v krátkém programu napsaném pomocí C/C++, v němž je hromada překlepů.
Mistrale, co je v tom kódu špatně?
Chatbot opět prakticky okamžitě začal psát odpověď, odhalil všechny chyby syntaxe, opravil je a společně s nimi i překlep ve slově „AHojky.“
Najdi sémantickou chybu v kódu
K odhalování syntaktických chyb nicméně nepotřebujeme AI, takže ještě zkusíme, jestli Mistral najde i sémantickou – významovou – chybu. Programový kód s takovou chybou je sám o sobě funkční, ale provádí něco jiného, než po něm chceme.
Mistrale, co je v tom kódu špatně?
Perfektní! Mistral Large si i s tímto poradil na jedničku. Odhalil problém, vysvětlil, v čem spočívá a opět nabídnul opravenou verzi. A to vše v čitelné a stylisticky přijatelné češtině, která občas zlobí i u mnohem větší konkurence.
Naprogramuj mi „WinZip“ v Pythonu
Fajn, Mistral umí číst kód, ale zvládne ho i vytvářet na zelené louce? Zkusím to v Pythonu a požádám chatbota, aby mi vytvořil aplikaci, která po spuštění zobrazí malé okno. Když do něj přetáhnu nějaké soubory, program je zabalí do balicek.zip.
Komplexní povel a za pár sekund už první verze programu
Robot opět velmi rychle pochopil, co po něm chci a zbastlil kód. Sice nefungoval na první dobrou, stačilo ale do chatu zkopírovat chybové hlášení a Mistral vše opravil a vysvětlil mi, jaké knihovny mám doinstalovat.
Postupné řešení dvou chyb v první verzi programu
Identickou úlohu jsem loni zadal i ChatGPT Plus, který tehdy také na první dobrou vyrobil kód se stejnou chybou, takže to nejspíše souvisí s tím, že se tyto rutiny oba pánové učili někde na starších příkladech z GitHubu, které už nejsou aktuální.
Video: Prográmek pro zipování v akci po třech minutách práce v Le Chat
Funguje to
Le Chat zatím funguje jen v betaverzi a připadalo mi, že se chová mnohem lépe, pokud jej spustíte na účtu, u kterého jste aktivovali režim pay as you go pro práci s API. Možná to byla jen náhoda, ale v tomto případě komunikoval opravdu velmi rychle a v hezké češtině.
Statistika vyčerpaných tokenů v API s možností přepnutí na cenu v dolarech (0,06 USD) a nastavení platebního účtu včetně měsíčního limitu pro pay as you go
Když jsem později Le Chat vyzkoušel s dalším účtem bez vyplněné platební karty, bylo to o něco horší. Vyzkoušejte si to sami a ničeho se nebojte. V nastavení vývojářského účtu totiž samozřejmě nechybí možnost konfigurace platebního limitu. Když vyplníte jeden americký dolar, Mistral vám při hrátkách sebere nejvýše dvacku.
Chybí snad jen práce s přílohami a obrázky
Le Chatu k dokonalosti chybí jen práce s přílohami a pochopitelně s obrazem, jako klasický textový chatbot ale funguje překvapivě velmi dobře a je rychlý jako blesk.
První modely pařížského startupu byly k dispozici už loni, oproti konkurenci to ale nebylo žádné terno. Mistral Large – ať už v chatbotovi, nebo skrze API – ovšem vypadá opravdu nadějně a mohl by Evropu snad konečně vrátit do první ligy.