Pařížské studio Mistral AI se pochlubilo novou verzí svého stejnojmenného velkého jazykového modelu. Mistral Large se prý podle testů MMLU téměř vyrovná GPT-4.
Mistral se chlubí, že jeho nový model Large dosahuje podobného skóre v MMLU jako GPT-4
Mladý startup je vysněnou evropskou odpovědí na úspěšné americké OpenAI, a tak se loni těšil zájmu investorů a posbíral stovky milionů eur na další rozvoj.
Díky tomu dnes nabízí vlastní platformu pro vývojáře na bázi pay as you go a své AI modely hostuje také ve velkých veřejných cloudech. Mistral Large bude zprvu vedle vlastních serverů k dispozici na Microsoft Azure.
Jak se testují jazykové modely
MMLU je zkratkou pro Massive Multitask Language Understanding a společně s dalšími je to dnes už jedna z mnoha standardních metod, jak testovat schopnosti chatbotů.
Ty ve své podstatě hodnotíme velmi podobně jako studenty ve škole. MMLU totiž není nic jiného než multioborová písemka s desítkami úkolů z matematiky, dějepisu, informatiky nebo třeba práva.
Evropská odpověď na GPT-4
A proč něco takového vlastně chtít? Mistral by mohl zaujmout zejména zákazníky z velkých zemí západní Evropy, vedle univerzální angličtiny jej totiž autoři cvičili na francouzštině, němčině, italštině a španělštině. Lákadlem je také běh na infrastruktuře v EU, čili nehorzí obvyklé prodlevy s nasazováním v Evropě kvůli GDPR apod.
Ceník jazykových modelů z rodiny Mistral na jeho platformě pro vývojáře
Mnoho ostatních jazykových modelů z kapacitních důvodů i limitů studijních dat dosahuje nejvyššího skóre v benchmarcích pouze v angličtině a některé ani jinak mluvit neumějí a používají vrstvu překladače.
Paměť na 32 tisíc tokenů, matmatika a programování
Mistral Large má k dispozici kontextovou paměť na 32 tisíc tokenů, ve které si pamatuje souvislý dialog (token odpovídá jednomu až několika znakům), umí programovat, zvládá matematické operace a také function calling, se kterým jako první přišlo OpenAI a mi si ho vyzkoušeli loni na jaře.
Webové prostředí platformy pro vývojáře a hrátky s Mistral Large skrze HTTP API v programu Postman. API dotazy jsou velmi podobné těm ze světa OpenAI
Inženýři z Mistral AI vyvíjejí i vlastního demonstračního chatbota le Chat, ten je ale k dispozici zatím jen na pozvánky a i k jeho chodu je potřeba účet na vývojářské platformě.