Ještě to není GPT-5, ale možná už GPT-4.5! OpenAI vypustilo do světa novou řadu jazykových modelů o1. Komunita o nich spekulovala celé léto, už v červenci jsme totiž psali o tajemném projektu jakýchsi reasonerů – neuronek, které se učí, jak přemýšlet nad problémy, a proto je umí řešit s grácií studenta Ph.D.
Hrátky Marka Lutonského s novým modelem OpenAI o1 v ChatGPT:
Model o1 je sice zatím jen velmi raná verze reasonera, v principu je to ale další stupeň na cestě směrem k univerzální AI – AGI:
- úroveň: Chatbots, schopnost smysluplné konverzace
- úroveň: Reasoners, schopnost řešení problémů na lidské úrovni
- úroveň: Agents, systémy, které jsou schopny plnit úkoly
- úroveň: Innovators, AI, která je schopná inovace
- úroveň: Organizations, AI, která funguje jako organizace/organizmus
(Interní žebříček OpenAI. Plná AGI dosahuje stupně 5)
Ójednička uspěla v testu mezinárodní matematické olympiády
A právě schopnost přemýšlení o řešení problému slibují první dva veřejné modely o1-preview a menší o1-mini, které už mají k dispozici předplatitelé služby ChatGPT Plus. Byť i oni jen s velmi přísným limitem padesáti zpráv týdně s malým modelem a dokonce jen třiceti s tím velkým. Novinka je k dispozici i skrze API pro vývojáře.
Předplatitelé najdou modely z rodiny o1 ve výběrové roletce
Jednodušší verze modelu o1-mini později dorazí i do bezplatné verze ChatGPT pro širokou veřejnost.
OpenAI slibuje, že si řada o1 poradí o něco lépe především s:
- vědeckými problémy
- matematikou
- programováním
Laboratoř to doložila výsledky z kvalifikačního testu do mezinárodní matematické olympiády. Zatímco GPT-4o správně vyřešil 13 % otázek, o1 dosáhl úctyhodných 83 %.
Model o1 by měl také mnohem lépe řešit úlohy napříč jazyky. Srovnání v testu všeobecných znalostí MMLU, který se používá pro testování AI (vyšší číslo, vyšší skóre)
Chain of thought
Novým modelům pomáhá technika, kterou zkušení uživatelé chatbotů dobře znají: princip chain of thought. U klasických chatbotů starší generace můžeme nějaký dotaz pomocí CoT rozložit na kroky a doplnit příklad správného řešení, čímž dáváme jazykovému modelu najevo, co přesně chceme.
Třeba:
Ahoj chatbote, potřebuji vyřešit objem kvádru.
Příklad: Kvádr o stranách 2, 2, 2 má objem 8
A teď už ty: Kvádr od stranách 4, 4, 4 má objem: (následuje odpověď modelu)
V CoT promptingu jsme dali robotovi příklad správného řešení a jeho jazykový model pak vykouzlí korektní odpověď s mnohem větší pravděpodobností.
Inženýři z OpenAI trénovali (PDF) Ójedničku, aby pomocí CoT sama rozkládala problémy na dílčí části, a proto by měla být v řešení zvláště komplexních problémů o něco lepší než GPT-4o.
Matematické cvičení v kontextu aktuální hrozby povodní
A rozepsaný postup přemýšlení/CoT v podání modelu o1, který pomůže ověřit, jestli je výpočet správný, anebo úplně mimo
Zároveň díky tomu dokáže svůj interní proces CoT ukázat během přemýšlení o odpovědi a my můžeme sledovat, kudy se ubírá a jestli nejde úplně špatným směrem.
Na stranu druhou, není to zadarmo. Toto vrstevnaté přemýšlení o výsledku se může podepsat na delší době zpracovávání odpovědi. Na běžné povely se proto hodí spíše klasická Čtyřka (GPT-4o).
Zatím chybí multimodalita
Jakmile se přepnete na některý z modelů o1, přijdete o podporu multimodality v GPT-4o. Nemůžete tedy malovat pomocí DALL-E a ani nahrávat přílohy k analýze.
Modely o1 nejsou multimodální a neumějí ani malovat pomocí DALL-E, a tak koně nakresli jen v ASCII kódu. I ten ale doplní roletkou s přehledným procesem CoT
Je opravdu zjevné, že tady si OpenAI zatím testuje novou koncepci fungování velkého jazykového modelu, a oba světy klasického ChatGPT a světa Ó plně propojí až později.
Neznamená to, že nechybuje!
Následující tweet ukazuje, že i o1 chybuje a při kdejakém přímém srovnání může být dokonce i slabší. Základní schopnost reasoningu mu ale dokáže pomoci v některých komplexnějších úlohách. Bude to ještě hodně velké zkoumání ze strany komunity.
OpenAI tak uvádí, že spíše než s nákupem potravin na sobotní oběd vám Ójednička poradí s disertační prací nebo třeba s programováním nějakého košatějšího algoritmu.
Ostatně, i profesor se může občas splést a špatně spočítat trojčlenku...
ChatGPT s pamětí konečně i v Evropě
Evropské předplatitele vedle o1 potěší také nástup funkce paměti, o které jsme poprvé psali už letos na jaře. Do EU se ale dostala až teď, jen co OpenAI vyřešilo právní kompatibilitu s GDPR a další technologické překážky.
Aktivace paměti
Paměť už podle svého názvu slouží k průběžnému trvalému ukládání klíčových informací, se kterými může jazykový model pracovat napříč chaty.
Ale nebojte se, nebude si rozhodně pamatovat kdejakou pitomost – spíše ho budete muset k pamatování nutit povelem v přirozené řeči: „Zapamatuj si informaci XYZ.“
Pojďme si to vyzkoušet:
„Zapamatuj si o mně, že se jmenuji Luboš Vepř, jsem z Brna a jsem velmi špatný v počtech.“
ChatGPT si zapamatoval novou informaci
Chatbot teď může být ve vysvětlování matematických odpovědí více trpělivý, protože má v paměti uloženo, že jedná s naprostým idiotem.
Osobnostní profil po týdnu používání
Jelikož se jedná o persistentní – trvalou – a globální paměť, je dostupná samozřejmě nejenom v aktuálním chatu, ale i ve všech následujících debatách.
Když jsem si tedy zhruba po týdnu nechal vypsat osobní medailonek na základě naučených faktů, dopadlo to jako na obrázku níže.
Co o mně chatbot ví zhruba po týdnu používání paměti?
Nicméně pozor, ani funkce paměti není zatím dostupná v modelech o1. To je v tomto směru opravdu zcela oddělený vesmír od zbytku ChatGPT.
Modely z rodiny o1 zatím neumějí pracovat se sdílenou pamětí
Paměť se dá použít i na makra a zkratky
Paměť se hodí i pro ukládání různých povelů, zkratek a maker, která pak budete vyvolávat napříč chaty. Třeba:
„Prosím tě, zapamatuj si, že když v textu použiji výrazy --&name, --&age, --&job, nahradíš je mým skutečným jménem, věkem a zaměstnáním. Prosím bez závorek a další obálky. Jen prostý text.“
Makra na paměť
Pokud pomocí chatbota programujete a analyzujete kód, tak hlavně jen pozor na formát maker. Pokud totiž zvolíte nějaký často používaný, může se pak stát, že chatbot doplní vaše data i tam, kde nemá. Třeba právě do jím generovaného programového kódu.
Pojďme si to vyzkoušet. Požádám chatbota, aby mi přeložil návrh e-mailu do angličtiny, přičemž v textu použiji zástupná makra.
Příprava anglického e-mailu s využitím zástupných maker na paměť
Podobné zkratky jsme si sice mohli vytvářet i bez paměti v sekci vlastních pokynů v konfiguraci chatbota, přímo v textu je to ale rychlejší a snad i o něco intuitivnější.
Obě novinky mají ohromný potenciál, až čas ale ukáže, jestli toho využije běžný uživatel. Řada modelů o1 pak získá na významu v okamžiku, kdy se stanou výchozí volbou v ChatGPT, která bude napojená na služby a multimodalitu.