reklama

Deep Q-Network: „Inteligence“, která se naučila hrát hry

Základním předpokladem každé umělé inteligence je schopnost univerzálního sebezdokonalování. Systém Googlu se sám naučil hrát legendární osmibitové hry.

Mnoho lidí se stále domnívá, že nás od vybudování první opravdové počítačové inteligence dělí vlastně jediná překážka – dostupnost obrovského výkonu. Ovšem to je přinejmenším nepřesné. Výkon samotný rozhodně nestačí a to ani ten hypotetický, který by jednou mohly nabídnout třeba kvantové počítače. Zatím jsme přitom teprve ve fázi, kdy si ještě ani moc nejsme jisti, jestli je první komerční kvantový počítač D-Wave opravdu kvantový a rychlejší než identická mašina klasické konstrukce.

IBM Watson je vzdělaný, ale není inteligentní

Aby byl počítač opravdu chytrý, potřebuje především software, který mu dá schopnost sebezdokonalování a učení. Něco takového zatím člověk nedokáže vyrobit a i ti nejlepší specialisté v oboru z laboratoří Google DeepMind stojí ve svých soudech pevně na zemi. Podle výzkumníka Demise Hassabise postavíme první a zcela univerzální samoučící se stroj až za mnoho desítek let.

Klepněte pro větší obrázek
DeepMind – britská výzkumná společnost pro aplikovaný výzkum v oblasti strojového učení. Na počátku loňského roku ji koupil Google, který tak ovládá jak kybernetickou mechaniku, tak vývoj budoucí duše robotů

Čas od času se nás sice snaží kdekdo přesvědčit, že jsme se už konečně přiblížili zlomovému okamžiku, který způsobí opravdovou revoluci, ten je ale stále kdesi daleko před námi a podle skeptiků až kdesi na sklonku tohoto století. Samozřejmě můžete namítnout, že superpočítače už přeci mnohokrát dokázaly pokořit člověka jak v šachové partii, tak ve znalostním kvízu, jenže ve všech z těchto případů se jednalo o specializované aplikace, které byly naprogramované k nějakému konkrétnímu cíli.

Jinými slovy, superpočítač, který vás porazí v deskové hře, se jen tak z ničeho nic nezačne učit španělsky, protože mu tuto schopnost nikdo nenaprogramoval. IBM Watson je tedy pouhým střípkem celé mozaiky. Jeho přínosem do studia A.I. je úžasná schopnost jeho softwaru zpracovávat znalostní informace. Je to opravdu takové Siri na steroidech, které je napojené na stovky milionů strukturovaných i nestrukturovaných dat, má v sobě kopii celé Wikipedie a zpracuje 500 GB surových informací za sekundu, což je ekvivalent asi jednoho milionu knih. K tomu všemu Watsonovi před čtyřmi lety stačilo pouze 16 TB RAM a necelé tři tisícovky procesorů se souhrnným matematickým výkonem 80 TFLOPS. Z hlediska nejrychlejších superpočítačů světa tedy ani Watson nebyl nijak extra výkonný. Ostatně i plánovaná velká ostravská mašina bude asi desetkrát rychlejší.

Klepněte pro větší obrázek
IBM Watson porazil člověka ve znalostní hře Jeopardy – Riskuj (Foto: IBM)

Abychom stvořili první univerzální umělou inteligenci, potřebujeme spojit hromadu specializovaných počítačů do jednoho celku. Takový hypotetický stroj musí mít všechny nám známé smysly. Pokud budou vstupem textové informace, musí je pochopit. Musí díky svým znalostním grafům rozpoznat, že se nejedná pouze o shluk písmen, ale že z písmen se skládají slova a ta slova mají nějaký význam. Zde by pomohl právě IBM Watson.

Jenže stejně tak potřebuje umělá inteligence vidět. Pokud tedy budou vstupem grafická data – ať už obraz z webkamery, nebo vaše profilová fotografie na Facebooku, stroj musí pochopit, že se jedná o člověka, že to je třeba muž okolo třicítky, že má na sobě nějaké oblečení a že je jeho tvář plná emocí, kterým stroj musí také porozumět.

Toto vše je ale pouze otázkou chytrých senzorů vstupních dat. Nejdůležitější a naprosto klíčovou schopností každé umělé inteligence musí být schopnost podobná vstupní data autonomně využít a odnést si z toho vlastní zkušenost – učit se. Když dítě sáhne na horkou plotnu, spálí se a zapamatuje si to. Když se inteligentní superpočítač dozví něco nového, zváží důležitost této zkušenosti a použije ji pro své vlastní sebezdokonalení.

Deep Q-Network se učí hrát hry

Schopnost učení je už roky hlavní vědeckou disciplínou britské laboratoře DeepMind, za kterou Google loni zaplatil částku okolo 500 milionů dolarů. Výsledkem je technologie deep Q-network (DQN), díky které jsme udělali opět jeden smělý krok vstříc plně autonomnímu stroji. Jedná se totiž o sadu algoritmů pro univerzální způsob učení systémem pokus-omyl, který sami dobře znáte z vlastního života.

Vědci svoji malou inteligenci postupně učili chápat informace a interakce a to poměrně neotřelým způsobem – jejich syntetické dítě od rána do večera pařilo staré dobré osmibitové hry pro Atari. Oproti Watsonovi nebo superpočítačům Deep Blue, které hrály šachy, protože k tomu byly naprogramované, však počítači DQN od Googlu nikdo neřekl, co je cílem třeba legendární hry Breakout. Stroj to musel pochopit naprosto sám.

Klepněte pro větší obrázek
Hra Breakout od Atari se během čtyřiceti let dočkala hromady klonů

Princip Breakoutu je jednoduchý a některý z jeho klonů jste už někdy jistě hráli i vy. Je to přesně ta hra, kterou v 70. letech pro Atari naprogramoval Steve Jobs – respektive jeho odvěký kamarád Steve Wozniak. Na herní ploše se neustále od stěn odráží kulička a vy s ní pomocí pálky srážíte bloky v horní části obrazovky a za každý úspěšný sestřel získáváte body.

Kdyby DQN pracoval stejně jako Deep Blue, který v roce 1997 porazil šachového velmistra Garriho Kimoviče Kasparova, vývojáři by mu vytvořili software na míru, který by dokonale znal šachovou hru a jeho úkolem by bylo „pouze“ vytvořit matematicky perfektní strategický plán, který povede k vítězství.

Klepněte pro větší obrázek
Deep Blue v roce 1997 porazil Garriho Kasparova, to ovšem není doklad umělé inteligence jako spíše schopnosti jeho programátorů (Foto: The Atlantic)

Inženýři DeepMindu naopak počítači řekli jen to, že vstupem hry je posun vlevo a vpravo, dali mu informaci o aktuálním skóre a obraz samotné hry. DQN na tom tedy byl mnohem hůře než člověk, který herní postup pochopí relativně snadno, protože z vlastní zkušenosti ví, že míček se i v reálném světě odráží od stěn pod určitými úhly a že je tedy třeba jen správně posouvat pálku. Lidský hráč zároveň ví, že pointou hry je strefovat bloky, za což se připočítávají body.

DQN nic takového nevěděl – začínal jako naprostý syntetický idiot, který nemá páru o tom, co se vlastně děje. Jelikož je ale jeho logika založená na modelu pokus-omyl, začal tedy zkoušet, pohyboval pálkou sem a tam, načež poprvé náhodně odrazil kuličku, ta sestřelila cihličku a skóre hry se změnilo. Heuréka!

DQN prováděl další a další pokusy a postupně vypiloval herní strategii k dokonalosti. Krásně to vystihuje video níže. Všimněte si, že je na počátku inteligentní agent (software) naprosto hloupý a netuší, co má dělat, s dalším a dalším cyklem se ale neustále zlepšuje, až překoná i toho nejlepšího lidského hráče. Software se tedy naučil herní mechanizmus, aniž by mu kdokoliv vysvětlil pravidla.

Software vidí, střílí a řídí

Vraťme se nyní k úvodu a zopakujme si, co k tomu DQN všechno potřeboval: zrak a schopnost učení. Software tedy musel rozpoznat obrazový frame po framu, pochopit, že se ty barevné pixely nějakým způsobem mění, a když provede určitý vstup do hry (pohyb pálkou), za určitých okolností se změní hodnota skóre. Tak dlouho tedy pohyboval pálkou a sledoval proměnu pixelů, až přišel na způsob, jak dosáhnout nejlepšího hodnocení.

S tímto nízkoúrovňovým přístupem se DQN postupně naučil ovládat i hromadu dalších osmibitových her pro legendární Atari. Naučil se boxovat, řídit autíčko nebo třeba létat v letadélku a ničit soupeře.

Ve všech těchto případech se jedná o primitivní hry s jednoduchou grafikou, ta je ale potřeba pro rychlé dekódování dění na herní ploše. Postupným zlepšováním rozpoznávacích a učících algoritmů a s růstem surového počítačového výkonu by však systém analogicky časem jistě zvládl i mnohem komplexnější obrazová data – třeba Battlefield. No a to už jsme jen krůček od pochopení skutečného světa.

Samoučící se entita

DQN je tedy stejně jako znalostní Watson dalším střípkem do mozaiky, která jednou povede k vývoji jakési entity, která bude svými schopnostmi možná docela věrohodně napodobovat člověka. Podstatné je ale to, že jej nebude napodobovat proto, že ji tak někdo naprogramoval, ale protože se to ona sama naučila studiem nás všech třeba skrze internet, což je obrovský rozdíl.

Nebude na nás skrze reproduktor počítače mluvit anglicky z toho důvodu, že má v sobě předprogramovanou databázi s anglickou slovní zásobou a předprogramovaný znalostní graf významů jednotlivých slov, ale proto, že během několika hodin shlédla miliony videí na YouTube a anglicky se naučila svépomocí, protože je to prostě nejčastější jazyk videí na americkém portálu. Naučila se to principálně stejně jako kdysi dávno její předek primitivní hru pro osmibitové Atari.

Teprve pak budeme moci skutečně začít mluvit o počátku nové technologické éry a příchodu čehosi, co už opravdu začíná připomínat inteligenci. Nebude to však za rok a nebude to ani za deset let. Možná se toho okamžiku dožijí dnešní třicátníci a možná až jejich děti. Jednou to ale přijde.

Google zdaleka není jediný

Práce laboratoře Google DeepMind není zdaleka jediná svého druhu. Nedávno jsme na Živě.cz psali třeba o experimentu, v rámci kterého se chytrý software učí vařit a to pomocí sledování instruktážních videí z YouTube. Výzkum vedou specialisté z Marylandské univerzity a finančně jej podporuje americká obranná agentura DARPA.

Klepněte pro větší obrázek
V tomto případě robot v obrazu analyzuje jednotlivé předměty a pohyby. Naučí se tedy, že hrníček lze použít pro uchování kapaliny a že krouživý pohyb v hrnci slouží k míchání. Pomocí těchto elementárních znalostí pak dokáže syntetizovat celý a mnohem komplexnější proces přípravy pokrmu.

 

Témata článku: Software, Technologie, Google, Umělá inteligence, Roboti, Superpočítače, Hry, Kvantové počítače, Deep, Atari, Breakout, Idiot, Reading, Battlefield

17 komentářů

Nejnovější komentáře

  • Robotron3 27. 2. 2015 21:42:38
    Tu umělou inteligenci na Arkanoid bych viděl snadno, public void update()...
  • Pavelka IT amater 27. 2. 2015 19:21:43
    Kdyby raději už dali umělou inteligenci robotickým ženám, abych si měl s...
  • Johnny92 27. 2. 2015 17:17:51
    Řekl bych, že je to trochu složitější. Vědci stále plně nerozumí, jak...
reklama
Určitě si přečtěte

Microsoft: Zbavte se už konečně zastaralých a děravých Windows 7

Microsoft: Zbavte se už konečně zastaralých a děravých Windows 7

** Microsoft pomalu začíná kritizovat svůj nejpopulárnější OS ** Chce konečně dostat podniky na Desítky ** Bezpečnostní podpora Sedmiček vydrží ještě necelé tři roky

17.  1.  2017 | Jakub Čížek | 405

Český státní blacklist už funguje. Ministerstvo financí se pochlubilo s detaily

Český státní blacklist už funguje. Ministerstvo financí se pochlubilo s detaily

** Dva týdny po Novém roce zajím zeje prázdnotou ** Ministerstvo vydalo metodický pokyn ** Takhle to bude fungovat v praxi

16.  1.  2017 | Jakub Čížek | 49

8 produktů, o kterých byste neřekli, že nesou značku Apple

8 produktů, o kterých byste neřekli, že nesou značku Apple

** Věděli jste, že Apple vyvinul celkem 45 modelů tiskáren? ** ** Monitor na výšku, plotter nebo herní konzole - to vše měl Apple ve své nabídce ** Většinu z těchto produktů pohřbil Steve Jobs

19.  1.  2017 | Stanislav Janů | 38

Opera Neon: Takto prý bude vypadat prohlížeč budoucnosti. Chcete to?

Opera Neon: Takto prý bude vypadat prohlížeč budoucnosti. Chcete to?

** Opera představila Neon ** Koncepci prohlížeče budoucnosti ** Připomíná Chrome OS

16.  1.  2017 | Jakub Čížek | 35


Aktuální číslo časopisu Computer

99 nejlepších programů pro váš počítač

Zvykejte si na umělou inteligenci

Velké testy PC zdrojů a gamepadů

Alternativní zdroje energie

reklama
reklama