Rodina AI ve formě velkých jazykových modelů, kam patří třeba populární GPT (ChatGPT, Microsoft Bing), se rozroste o dalšího potomka.
Do boje o nejlepšího chatbota se totiž pouští také firma Stability AI, kterou jsme si doposud spojovali s generátorem obrázků Stable Diffusion.
Zkuste si webové demo
Její velký jazykový model se jmenuje StableLM a stejně jako Stable Diffusion je to open-source zveřejněný pod svobodnou licencí CC BY-SA-4.0. Každý si ho může stáhnout a vyzkoušet na vlastní počítačové infrastruktuře.

Demo StabieLM (7B) na webu Hugging Face
Jednodušší verzi modelu se sedmi miliardami parametrů (viz níže) si můžete vyzkoušet na webu Hugging Face v interaktivním demu. Počítejte ale s tím, že interakce bude relativně pomalá a na odpověď si počkáte i několik desítek sekund.

Na češtinu je model krátký
Také počítejte s tím, že angličtina je nutná. Na český vstup se přinejmenším malý model velikosti 7B zatím nechytá.
Nejprve velikosti 3B a 7B, později až 175B
Úvodní alfa verze nabízí 3,6 a 7,8 miliard vnitřních parametrů – nacvičených neuronových spojení sítě. Oproti GPT-3 (175 miliard), GPT-4 (nevíme, ale pravděpodobně několikanásobek GPT-3), Google Bard (LaMDA 137 miliard, PaLM 540 miliard) nebo Facebook LLaMA (7-65 miliard) je to jen zlomek, model ale díky tomu nejspíše poběží i na běžném počítači.

Časový plán dalšího vývoje
Ve vývoji jsou i větší verze 15B, 30B a 65B (B jako miliarda a zaokrouhleno dolů) a v dlouhodobějším plánu pak i nejvýkonnější verze 175B, která už ale bude vyžadovat enormní množství RAM a výkonné železo.
Model se učil na obřím datasetu The Pile
Inženýři učili model StableLM na datasetu odvozeném z The Pile, který obsahuje až 1,5 bilionů tokenů – základních informačních jednotek velkých jazykových modelů. Token má zpravidla délku jednoho až několika málo znaků dle architektury.

I malý model o velikosti 7B dokáže psát programový kód v Pythonu
Současné menší verze disponují kontextem (pamětí pro aktuální seanci) o velikosti 4096 tokenů.
Postup najdete na GitHubu
StableLM umí chatovat, vytvářet kreativní text i programový kód a zájemci najdou na GitHubu postup, jak jej rozjet pomocí Pythonu a webového repozitáře pro komunitní AI modely Hugging Face, odkud se při prvním použití stáhnou (pozor, připravte se na gigabajty dat!).