Vědci se ptají: Má umělá inteligence zabít vašeho šéfa, nebo rodinu s kočárkem?

  • Autonomní vozy se budou muset vyrovnat s tramvajovým dilematem
  • Myšlenkový experiment ze 60. let inspiroval vědce
  • Vytvořili Moral Machine a vy jej máte učit

Chytré vozy Googlu od roku 2009 nacestovaly v autonomním režimu bezmála tři miliony kilometrů. Dnes jich americké silnice brázdí téměř šedesátka, přičemž polovinu z nich tvoří prototypy městských malých vozítek budoucnosti, které firma vypustila z garáží loni v létě, a zbytek pak tradiční SUV Lexus RX 450h.

Klepněte pro větší obrázek Klepněte pro větší obrázek
Dvě tváře autonomního vozu. Klasický lexus a futuristické městské vozítko

Když nahlédnete do měsíčních reportů, snadno spočítáte, že softwarový řidič v letošním roce najezdil dohromady 757 tisíc kilometrů, což odpovídá v průměru 13 tisícům kilometrů na jeden vůz a zhruba 60 kilometrům denně – tedy cestě z amerického předměstí do práce a na nákupy.

Čekání na masakr

Chytré vozy z Mountain View toho tedy už nacestovaly dost na to, aby program udělal nějakou tu chybu, a Google od začátku roku skutečně několikrát havaroval, nicméně ani jednou za to nemohl robot. V jednom případě chytrý vůz boural, když jej řídil člověk, no a v těch dalších byli viníky vždy ostatní účastníci provozu. Podle záznamů se prakticky vždy jednalo jen o odřený zadní blatník některého z lexusů a nedodržení bezpečné vzdálenosti. Lze předpokládat, že ostatní řidiči prostě koukali na exotický automobil před sebou a nedávali pozor.

Klepněte pro větší obrázek
Google se na sklonku každého měsíce pochlubí podrobným reportem

Suma sumárum, Google na svou první velkou nehodu teprve čeká a rok od roku je pravděpodobnější, že ani nebude jejím iniciátorem – tím, kdo to všechno způsobí. Až k tomu tedy jednoho dne dojde, bude to nejspíše chyba nedokonalého lidského řidiče v některém z okolních automobilů, který se nebude dostatečně věnovat řízení.

Jenže co pak?

Tramvajové dilema

Počítačoví vědci, specialisté na etiku, psychologové a filosofové si již desítky let lámou hlavu nad myšlenkovým experimentem, který nemá žádné uspokojivé řešení. Nad otázkou, jak se má řidič rozhodnout, pakliže je střet nevyhnutelný a on má pouhý okamžik na zvážení škod.

Tzv. tramvajové dilema nastínila již v roce 1967 britská filozofka Philippa Ruth Footová. Popisuje dilema člověka, který může přehodit výhybku tramvaje, která se řítí na skupinku lidí na kolejích. Jenže stejně tak na druhé koleji je jedna osoba, a tak je jisté, že to někde odskáče. Člověk u výhybky má ale ještě třetí možnost. Nemusí dělat nic a jen sledovat, jak to celé dopadne.

Myšlenkový experiment se postupem času vyvíjel a přibývaly další možnosti, takže mezi velmi populární varianty patří třeba otázka, pro jakou kolej se rozhodnout, pakliže na jedné stojí vysoký manažer, zatímco na druhé třeba pětice těhotných žen s kočárky. Kdo má vyšší cenu? Ženy s dětmi, nebo člověk, který dává práci ostatním?

Spíše než střet s tramvají však běžným smrtelníkům hrozí kolize s automobilem na přechodu, a tak se dnes trolley problem interpretuje právě tímto způsobem. To je mnohem reálnější situace a může se s ní opravdu setkat každý z nás.

Vraždící vůz nechceme, tvrdí průzkum

Na sklonku června publikovala skupina vědců z Kalifornské univerzity v Irvine článek v časopisu Science, ve kterém prezentovali výsledek experimentu s dobrovolníky, kterých se ptali, jak by v podobné situaci sami reagovali a jak by se měl zachovat stroj – autonomní vůz.

Dejme tomu, že se bude automobil řítit k přechodu. Řidič již nemůže zastavit a na přechodu je v levé části solidně oblečený manažer, zatímco v druhé bezdomovec. Je to kruté, ale asi nemusím rozvádět, pro který ze střetů se dotazovaní spíše rozhodli.

Anebo druhý případ. Auto se opět řítí na přechod, řídí jej autopilot, a jelikož je to chladný a velmi rychlý počítač, může se rozhodnout mezi osudem skupinky těhotných matek s kočárky a manévrem, který bude stát život celou posádku.

Pokud jde o teoretické průzkumy, jsou lidé poměrně altruističtí – zvítězil utilitární přístup, kdy se respondenti rozhodli spíše pro své vlastní sebeobětování a tedy smrt méně početné posádky. Na stranu druhou, když přišla řeč na otázku, jestli by si titíž lidé opravdu pořídili chytrý vůz, který by je mohl obětovat pro vyšší společenské dobro, padlo jasné NE!

Zákony robotiky

Tramvajové dilema má obrovský dopad i na slavné zákony robotiky, protože jak Asimov napsal již ve čtyřicátých letech minulého století: „Robot nesmí ublížit člověku nebo svou nečinností dopustit, aby bylo člověku ublíženo.“

Pokud by měl být autonomní vůz s tímto I. zákonem v plném souladu, v pozici toho, který se rozhoduje u oné myšlenkové výhybky, nesmí vlastně zvolit ani jednu z možností. Nesmí totiž ublížit člověku (přehodit výhybku), ale stejně tak nesmí nečinností dopustit, aby mu bylo ublíženo (nečinně stát a zbavit se zodpovědnosti). Být v pozici podobného stroje, BSOD je asi jediným řešením.

A teď si takový autonomní vůz představte opět v situaci, kdy se blíží k onomu přechodu. Zatímco posádka a chodci ještě nic netuší, jeho stojádrový procesor právě do nejmenšího detailu propočítal 1 479 možných úkonů v následujících 1 500 milisekundách, aby zjistil, že ani jeden není uspokojivý – jakýkoliv pohyb, práce motoru a brzd povedou k tomu, že to někdo odskáče. Jak se má proboha rozhodnout?

Neexistuje na to žádná univerzální odpověď. Stroj se nemůže odvolávat na náhodu, osud, prozřetelnost a boha, poněvadž oním bohem je člověk, který jej naprogramoval. A člověk sám o sobě není dobrý bůh, protože dodnes vlastně neví, co je více a méně etické a usuzuje to pouze podle celospolečensky přijímaných pravd.

Moral Machine: Rozhodnete, kdo má zemřít?

Přesně pro tuto cestu se ve svém experimentu rozhodli výzkumníci z MIT a stvořili Moral Machine, přičemž jedním z jeho cílů je pomocí strojového učení nacvičit umělou inteligenci, které z dvou zel je eticky přijatelnější. Oním sudím – učitelem – může být kdokoliv z vás, Moral Machine totiž připomíná obrázky z autoškoly. Je na nich pokaždé zobrazená situace na přechodu, přičemž surfař se má vnitřně vyrovnat s tramvajovým dilematem a rozhodnout, kdo má zemřít.

Klepněte pro větší obrázek
Odskáče to skupinka psů, nebo těhotné ženy?

Není to veselé. Budete se rozhodovat mezi tím, jestli raději zemřete vy nárazem do betonové překážky, anebo dvojice na přechodu. Jednou to budou ony maminky, podruhé lidé v důchodovém věku. Pak manažeři, zloději a tak dále.

Klepněte pro větší obrázek
Zemřou zloději, nebo ostatní? je to na vás.

Vlastně to nejsou nikterak nepředstavitelné situace – k takovým haváriím přeci dochází poměrně často, čili by se mohlo zdát, že pro stroj musí být řešení jednoduché; čistě empirické. Jenže není. Zatímco stroj naprogramujete, takže bude provádět jen jasné instrukce, lidský řidič má zpravidla tu výhodu, že je podobného morálního dilematu zcela zbaven, protože v onom kratičkém okamžiku stačí dupnout leda tak na brzdu a na nějakou etiku není čas. Jen na instinktivní pohyby. O vše ostatní se už postará pouze osud – tedy zákony fyziky a kauzalita; sled událostí, které dostaly vás i chodce do tak prekérní situace.

Klepněte pro větší obrázek
Obětujete se?

Plánovaná vražda

Právě z toho důvodu je otázkou, jestli by měl být autonomní vůz tak inteligentní, aby řešil i tyto neřešitelné morální úkoly. Za prvé mu to nepřísluší, protože je to jen stroj – a vždy bude, za druhé by do něj nikdo svéprávný nikdy nesedl, no a za třetí by jej bez drastických změn v legislativách a pojetí práva nikdo nevyrobil.

Proč? Představte si, že se píše rok 2102 a vaši prapravnuci sedí ve vysokém managementu Škoda Auto, a.s. Na stole je zrovna plán na zavedení nové generace autonomních vozů, které se skutečně umí rozhodovat, koho na silnici v krajní situaci obětovat.

Pokud by takový automobil obětoval recidivistu na přechodu, protože by si během okamžiku vyhledal jeho tvář v evidenci osob a přidělil mu nižší skóre než vám, bude se jednat o plánovanou a dokonanou vraždu. A jelikož software v palubním počítači není trestně odpovědná osoba – svéprávná bytost, na lavici obžalovaných přirozeně skončí ten, kdo dal vozu tuto zabijáckou schopnost. Automobilka.

Tramvajové dilema prostě nemá řešení. Jen jakýsi stav nejmenšího rizika, že k němu vůbec dojde. A je to stav, který je docela reálný. Ne dnes, ne za deset let a nejspíše ani za dalších sto let. Je to stav, kdy by byl lidský faktor zcela izolovaný. Prostě byste sedli do svého automobilu, zadali cíl cesty a vůz by vás tam dovezl. Během plánování trasy i jízdy samotné by komunikoval se všemi okolními vozy, které by také řídil výhradně software, a stroje by tak dokázaly optimalizovat dopravu takovým způsobem, aby se ze silnic prakticky vytratil jakýsi princip neurčitosti dany různou zkušeností a umem lidských řidičů a jejich psychikou.

Nejspíše k tomu směřujeme, je to ostatně automatizace jako každá jiná, nicméně chvíle, kdy se všichni řidiči dobrovolně vzdají svého volantu, je přirozeně z mnoha důvodů ještě naprosto vzdálená. Do té doby se můžeme bavit podobnými myšlenkovými experimenty.

Úvodní fotografie: Ragesoss, CC-BY-SA

163 komentářů

Nejnovější komentáře

  • Forrest911 16. 8. 2016 23:10:27
    Co se tyka rozhodnuti "posadka auta vs okoli", je to mnohem jednodussi,...
  • Janke 15. 8. 2016 18:50:28
    Osobně bych upřednostnil život posádky, nebo náhodný mód :-D Je tu...
  • David Kollier 15. 8. 2016 15:06:30
    Když myšlenkový experiment nemá řešení, jedná se zřejmě o demagogii. Celý...

Určitě si přečtěte


Nejlepší programy pro střih videa na doma: 10 video editorů, ze kterých si vyberete

Nejlepší programy pro střih videa na doma: 10 video editorů, ze kterých si vyberete

** Adobe Premiere Pro ani Final Cut se pro běžné uživatele příliš nehodí ** Programy na domácí střih většinou stojí do dvou tisíc ** V desítce nejzajímavějších najdete i 3 videoeditory dostupné zdarma

19.  9.  2016 | Stanislav Janů | 37

Deset tipů, jak ovládnout Google: Vyhledávejte jako mistři

Deset tipů, jak ovládnout Google: Vyhledávejte jako mistři

** Vyhledávače jsou natolik dobré, že si poradí i s frází v běžné češtině ** Pokud to ale nebude stačit, můžete vyzkoušet pokročilé funkce ** Vybrali jsme ty nejzajímavější

Dnes | Jakub Čížek | 16

Pojďme programovat elektroniku: Vyzkoušíme IR, ovládneme světýlko přes Bluetooth a vyšleme zprávu na sto metrů

Pojďme programovat elektroniku: Vyzkoušíme IR, ovládneme světýlko přes Bluetooth a vyšleme zprávu na sto metrů

** Budeme odposlouchávat IR ovladač klimatizace ** Vyrobíme laciný rádiový vysílač ** Vyzkoušíme komunikaci pomocí Bluetooth a v pásmu 433 MHz

21.  9.  2016 | Jakub Čížek | 18

Vymazat se z internetu není možné, velkou část osobního obsahu však odstranit můžete

Vymazat se z internetu není možné, velkou část osobního obsahu však odstranit můžete

** Online stopy i se svým jménem zanechá většina uživatelů internetu ** Jejich smazání nikdy nebude stoprocentní ** Poradíme, jak odstranit jejich větší část

20.  9.  2016 | Stanislav Janů | 21

Zoner Photo Studio X: Umí vrstvy, vyrobí fotoknihu a získáte jej za roční paušál

Zoner Photo Studio X: Umí vrstvy, vyrobí fotoknihu a získáte jej za roční paušál

** Je to největší aktualizace za poslední roky ** Konečně umí vrstvy, vyrobí fotoknihu i obraz ** Nově pouze jako předplatné s průběžnými upgrady

19.  9.  2016 | Jakub Čížek | 67


Aktuální číslo časopisu Computer

Srovnání výhodných 27" monitorů

Velký test levných rychlých routerů

Jak nastavit Android, aby vás nesledoval

45 podrobných testů a recenzí