Programování | Open source | Chatovací AI

StabilityAI zveřejnilo svou první jazykovou AI StableLM pod svobodnou licencí. Najdete ji na GitHubu

Rodina AI ve formě velkých jazykových modelů, kam patří třeba populární GPT (ChatGPT, Microsoft Bing), se rozroste o dalšího potomka.

Do boje o nejlepšího chatbota se totiž pouští také firma Stability AI, kterou jsme si doposud spojovali s generátorem obrázků Stable Diffusion.

Zkuste si webové demo

Její velký jazykový model se jmenuje StableLM a stejně jako Stable Diffusion je to open-source zveřejněný pod svobodnou licencí CC BY-SA-4.0. Každý si ho může stáhnout a vyzkoušet na vlastní počítačové infrastruktuře.

cd6ee8e9-df94-4ff9-b652-cc1623a894d8
Demo StabieLM (7B) na webu Hugging Face

Jednodušší verzi modelu se sedmi miliardami parametrů (viz níže) si můžete vyzkoušet na webu Hugging Face v interaktivním demu. Počítejte ale s tím, že interakce bude relativně pomalá a na odpověď si počkáte i několik desítek sekund.

16fd3a18-2283-440c-a702-06d15df61c2d
Na češtinu je model krátký

Také počítejte s tím, že angličtina je nutná. Na český vstup se přinejmenším malý model velikosti 7B zatím nechytá.

Nejprve velikosti 3B a 7B, později až 175B

Úvodní alfa verze nabízí 3,6 a 7,8 miliard vnitřních parametrů – nacvičených neuronových spojení sítě. Oproti GPT-3 (175 miliard), GPT-4 (nevíme, ale pravděpodobně několikanásobek GPT-3), Google Bard (LaMDA 137 miliard, PaLM 540 miliard) nebo Facebook LLaMA (7-65 miliard) je to jen zlomek, model ale díky tomu nejspíše poběží i na běžném počítači.

0a2b2a93-9f96-4fa3-a804-7d45ecd5875a
Časový plán dalšího vývoje

Ve vývoji jsou i větší verze 15B, 30B a 65B (B jako miliarda a zaokrouhleno dolů) a v dlouhodobějším plánu pak i nejvýkonnější verze 175B, která už ale bude vyžadovat enormní množství RAM a výkonné železo.

Model se učil na obřím datasetu The Pile

Inženýři učili model StableLM na datasetu odvozeném z The Pile, který obsahuje až 1,5 bilionů tokenů – základních informačních jednotek velkých jazykových modelů. Token má zpravidla délku jednoho až několika málo znaků dle architektury.

75c1e435-0e93-4e85-84d6-3e7f090e4ef5
I malý model o velikosti 7B dokáže psát programový kód v Pythonu

Současné menší verze disponují kontextem (pamětí pro aktuální seanci) o velikosti 4096 tokenů.

Postup najdete na GitHubu

StableLM umí chatovat, vytvářet kreativní text i programový kód a zájemci najdou na GitHubu postup, jak jej rozjet pomocí Pythonu a webového repozitáře pro komunitní AI modely Hugging Face, odkud se při prvním použití stáhnou (pozor, připravte se na gigabajty dat!).

Diskuze (4) Další článek: Asus předvádí, co všechno se dá nacpat do jednoho centimetru a kilogramu. Vyzkoušeli jsme skvělý Zenbook 13 S OLED

Témata článku: , , , , , , , , , , , , , , , ,