Nejdřív se přihlaste k účtu Opera a zamiřte do nastavení chatbotu

Nejdřív se přihlaste k účtu Opera a zamiřte do nastavení chatbotu

Stáhněte si některý z nabízených jazykových modelů

Stáhněte si některý z nabízených jazykových modelů

Teď už v nabídce v horní části podokna vidíme stažený model

Teď už v nabídce v horní části podokna vidíme stažený model

Chatbot běží na místním hardwaru, takže se žádná data neposílají do cloudu

Chatbot běží na místním hardwaru, takže se žádná data neposílají do cloudu

Promluvte si s Llamou

Promluvte si s Llamou

Llama od Mety patří k nejmenším modelům

Llama od Mety patří k nejmenším modelům

Stáhněte si některý z nabízených jazykových modelů
Teď už v nabídce v horní části podokna vidíme stažený model
Chatbot běží na místním hardwaru, takže se žádná data neposílají do cloudu
Promluvte si s Llamou
6
Fotogalerie

Jak rozjet chatbot na vlastním počítači? Lokální AI si můžete vyzkoušet v prohlížeči Opera

  • Opera v testovací verzi experimentuje s velkými jazykovými modely
  • Nabízí jich desítky a běží na lokálním hardwaru
  • I vy si tak snadno můžete zkusit chatbot běžící jen na místním PC

Opera na sebe nenechala dlouho čekat, když loni naskočila do rozjíždějícího se vlaku s umělou inteligencí. Svého AI pomocníka integrovala jen pár měsíců po Edgi, ačkoli Copilot nabízí více funkcí. Teď chce Opera zaujmout lokálními chatboty a vyzkoušíte si je v testovací verzi prohlížeče.

Přesněji řečeno, Opera vám zprostředkuje chatbot, který je poháněný velkým jazykovým modelem, tedy LLM. A ten běží lokálně. Pokud o velkých jazykových modelech máte aspoň základní povědomí, nejspíš si na dovedete představit, že tenhle nápad v praxi přináší nemalé výzvy.

Lokální zpracování vašich požadavků nevyžaduje internetové připojení. Jazykové modely jsou nicméně výpočetně nesmírně náročné, takže nečekejte bleskové reakce. Typicky poběží hůř než třeba Copilot, Gemini, ChatGPT apod. Navíc zaberou spoustu místa, resp. k tomu mají potenciál. Místní AI dále nemůže získávat nové informace z internetu.

opera lokálně LLM (1).png
Nejdřív se přihlaste k účtu Opera a zamiřte do nastavení chatbotu

Opera aktuálně podporuje 150 místních variant jazykových modelů z 50 rodin. Najdete mezi nimi také ty neznámější, k nimž patří Llama od Mety, Gemma od Googlu, Mixtral od Mistral AI nebo Vicuna.

Jestli si chcete velké jazykové modely na lokálním hardwaru vyzkoušet, není to nic složitého:

  • Otevřete v postranním panelu chatbot Aria.
  • Před použitím se musíte přihlásit k online účtu Opera. Chatbot vás k tomu případně vyzve sám.
  • Posléze klepněte na Vyberte místní model AI | Jdi do nastavení v horní části podokna.
  • V nastavení chatbotu v sekci Lokální AI modely vyberte požadovaný model. Uvidíte jeho varianty a velikost. Běžně jde o jednotky až desítky gigabajtů.
  • Klepněte na tlačítko pro stažení na řádku s vybraným modelem a vyčkejte.
  • Po stažení se vraťte do chatbotu (Nový chat v hlavní nabídce), znovu klepněte na Vyberte místní model AI. Tentokrát už v nabídce stažené modely, tak si některý z nich vyberte.
opera lokálně LLM (4).png
Promluvte si s Llamou

V mém případě bylo potřeba restartovat prohlížeč, do té doby chatování s lokální AI nefungovalo. Výrobce pro vyzkoušení doporučuje GEMMA:2B-INSTRUCT-Q4_K_M, protože tento model patří k nejmenším a nejvíce responzivním. Chybu neuděláte ani s modelem LLAMA2:7B-CHAT-Q4_K_M. Lokální AI si vyzkoušíte v Opeře Developer.

opera lokálně LLM (6).png
Llama od Mety patří k nejmenším modelům

Opera experimentování s lokálními modely vysvětluje tak, že by je mohla v budoucnu používat pro některé funkce. Konkrétní není.

Zdroje: Opera News | Opera Newsroom

Určitě si přečtěte

Články odjinud