Která AI je nejlepší? Chatbot Google Gemini začal přemýšlet a opět vyhrál úplně všechny kategorie

Oživeno 19. prosince 2024 | Google nenápadně uvedl nový AI model, svůj první s tzv. reasoningem, kdy chatbot nad odpověďmi přemýšlí a nevychrlí první reakci, která ho napadne. Je to podobný způsob uvažování, s jakým už před časem přišel model o1 v ChatuGPT.

Zajímavé je, že nový model Gemini 2.0 Flash Thinking se hned umístil na prvních příčkách srovnání Chatbot Arena. Stejně jako experimentální Gemini 1206, o kterém jsme psali nedávno, zvítězil ve všech hodnocených kategoriích.

Přemýšlivé Gemini si můžete vyzkoušet v AI Studiu. Zajímavé je, že má kontextové okno pouze 33 tisíc tokenů (ve srovnání s miliony tokenů u jiných modelů Gemini). Přemýšlení je zjevně hodně náročné na výpočetní výkon.

Obrázek s pořadím a tabulky níže v článku jsme aktualizovali.

Experimentální chatbot Google Gemini vyhrál úplně všechny kategorie

Článek z 8. prosince 2024 | Nejlepší současný textový AI model je Gemini od Googlu. Alespoň pokud dáme na hodnocení webu Chatbot Arena, na kterém lidé naslepo posuzují kvalitu výstupů – bez toho, že by věděli, jaké modely jim odpovídají.

V pátek k tomu nastala zajímavá situace. Nový model Google Gemini Experimental 1206 se neumístil na prvním místě pouze v hlavním žebříčku. Současně byl první v úplně všech hodnocených kategoriích. Rozdíly nejsou velké a Gemini se na prvních místech pravidelně vyměňuje s ChatemGPT, taková dominance ve všech variantách dotazů se ale nevidí.

Deset nejlepších modelů a jejich umístění v jednotlivých hodnocených kategoriích. Potom jsou ještě kategorie hlavních jazyků, Gemini je i v nich na prvním místě

Může se to zdát zvláštní. V českém prostředí Google Gemini nepatří mezi chatboty, o kterých by se příliš mluvilo. U nás se používá především ChatGPT a možná víc než jinde jsme si oblíbili Claude, který se přitom v Chatbot Areně nevešel ani do první desítky, je až na jedenáctém místě.

Tohle ale není umělý benchmark, kterému se modely mohou přizpůsobit. Testovací dotazy zadávají živí lidé, kteří potom také posuzují výsledky, a v případě Gemini bylo těchto slepých testů přes pět tisíc. Takovému hodnocení má smysl věřit.

Nový model Gemini si můžete vyzkoušet v Google AI Studiu. To je služba určená vývojářům, kteří zde mohou testovat modely a různé dotazy, než své systémy napojí na API Gemini. V pravém sloupci v bloku Model vyberte Gemini Experimental 1206. Stejně jako další modely Gemini má k dispozici kontextové okno o velikosti dvou milionů tokenů. To je obrovská kapacita, která pojme třeba několik knih. Konkurence je obvykle někde na desetině.

V Google AI Studiu můžete také porovnávat odpovědi různých modelů Gemini. Na obrázku vlevo reagoval nový Experimental 1206, který je zde v režimu Preview, v pravém panelu je aktuálně nejvyšší Gemini 1.5 Pro

Lidé prostřednictvím projektu LMSYS Chatbot Arena (lmarena.ai) hodnotí možnosti jednotlivých AI. Chatboti se podle jejich hodnocení řadí do žebříčků a v tomto článku najdete pořadí v hlavních kategoriích.

Přečtěte si, jak Chatbot Arena funguje, jakým způsobem žebříčky vznikají a jak v ní sami můžete modely zkoušet a hodnotit:

Chatbot Arena řadí AI do žebříčků a modely si v ní můžete rovnou vyzkoušet

Hlavní žebříček AI bez rozlišení kategorií (Overall na Chatbot Arena)

Žebříček bez vlivu stylu (Overall w/ Style Control)

Hlavní žebříček Chatbot Arena hodnotí odpovědi AI modelů tak, jak je uživatelé přímo vnímají; tedy včetně délky odpovědí a formátování. Hodnocení bez vlivu stylu používá statistické metody k odfiltrování těchto stylistických prvků a snaží se měřit pouze skutečnou kvalitu obsahu. Cílem je poskytnout objektivnější pohled na schopnosti modelů bez zkreslení způsobeného formou prezentace jejich odpovědí.

Matematika (Math)

Programování a kódování (Coding)

Velmi obtížná zadání (Hard Prompts)

Velmi dlouhá zadání (Longer Query)

Kreativní psaní (Creative Writing)