Opera na sebe nenechala dlouho čekat, když loni naskočila do rozjíždějícího se vlaku s umělou inteligencí. Svého AI pomocníka integrovala jen pár měsíců po Edgi, ačkoli Copilot nabízí více funkcí. Teď chce Opera zaujmout lokálními chatboty a vyzkoušíte si je v testovací verzi prohlížeče.
Přesněji řečeno, Opera vám zprostředkuje chatbot, který je poháněný velkým jazykovým modelem, tedy LLM. A ten běží lokálně. Pokud o velkých jazykových modelech máte aspoň základní povědomí, nejspíš si na dovedete představit, že tenhle nápad v praxi přináší nemalé výzvy.
Lokální zpracování vašich požadavků nevyžaduje internetové připojení. Jazykové modely jsou nicméně výpočetně nesmírně náročné, takže nečekejte bleskové reakce. Typicky poběží hůř než třeba Copilot, Gemini, ChatGPT apod. Navíc zaberou spoustu místa, resp. k tomu mají potenciál. Místní AI dále nemůže získávat nové informace z internetu.

Nejdřív se přihlaste k účtu Opera a zamiřte do nastavení chatbotu
Opera aktuálně podporuje 150 místních variant jazykových modelů z 50 rodin. Najdete mezi nimi také ty neznámější, k nimž patří Llama od Mety, Gemma od Googlu, Mixtral od Mistral AI nebo Vicuna.
Jestli si chcete velké jazykové modely na lokálním hardwaru vyzkoušet, není to nic složitého:
- Otevřete v postranním panelu chatbot Aria.
- Před použitím se musíte přihlásit k online účtu Opera. Chatbot vás k tomu případně vyzve sám.
- Posléze klepněte na Vyberte místní model AI | Jdi do nastavení v horní části podokna.
- V nastavení chatbotu v sekci Lokální AI modely vyberte požadovaný model. Uvidíte jeho varianty a velikost. Běžně jde o jednotky až desítky gigabajtů.
- Klepněte na tlačítko pro stažení na řádku s vybraným modelem a vyčkejte.
- Po stažení se vraťte do chatbotu (Nový chat v hlavní nabídce), znovu klepněte na Vyberte místní model AI. Tentokrát už v nabídce stažené modely, tak si některý z nich vyberte.

Promluvte si s Llamou
V mém případě bylo potřeba restartovat prohlížeč, do té doby chatování s lokální AI nefungovalo. Výrobce pro vyzkoušení doporučuje GEMMA:2B-INSTRUCT-Q4_K_M, protože tento model patří k nejmenším a nejvíce responzivním. Chybu neuděláte ani s modelem LLAMA2:7B-CHAT-Q4_K_M. Lokální AI si vyzkoušíte v Opeře Developer.

Llama od Mety patří k nejmenším modelům
Opera experimentování s lokálními modely vysvětluje tak, že by je mohla v budoucnu používat pro některé funkce. Konkrétní není.
Zdroje: Opera News | Opera Newsroom