Jak rozjet chatbot na vlastním počítači? Lokální AI si můžete vyzkoušet v prohlížeči Opera

Můj názor  |  zobrazit i odpovědi (trvale)  |  řadit od nejstarších Komentáře nyní řadíme od nejnovějších.
Tímto odkazem můžete řazení změnit.
 |  nových názorů: 3

Názory k článku

18. 04. 2024 18:26

Spouštět LLM lokálen na vlastním PC je velice zajímavá a potenciálně velká věc, ale z mé vlastní zkušenosti to zatím není moc praktické. Na průměrném PC se dají v rozumné rychlosti rozběhat jen menší modely, které jsou opravu hodně tupé a kvalit těch velkých on-line ani zdaleka nedosahují. Zkoušel jsem některé z nich v programu LM Studio (https://lmstudio.ai/) a ty o velikosti 2B i 7B jsou tragické. Hlavně ta Gemma od Googlu je otřesná. Pokud máte nabušené dělo, můžete zkusit Mixtral 8x7B (existuje i 8x22B), nebo LLama 70B, ale v 8-bitové quantization to zabere tolik GB, jaké to má číslo (miliardy parametrů). Při 4-bitové (jak to udělal autor článku) je to pochopitelně polovina, ale LLM je hloupější. Ale kdo má dnes takové množství RAM, že? Největší free LLM je tuším Grok s 314 milardami parametrů, což by při 4 bitech vyžadovalo 157 GB. Ale nevím, jestli to opera podporuje. Co se týče LLM, mám docela dobré zkušenosti s tím Mistralem. Když si ho vyzkoušíte, může vás hřát pocit, že podporujete Evropský projekt . Za experimentování to stojí a je to super věc, ale zatím to není až tak praktické.

Souhlasím  |  Nesouhlasím  |  Odpovědi (2)Zavřít odpovědi  |  Odpovědět
Zasílat názory e-mailem: Zasílat názory Můj názor