Generativní AI proniká do našich životů a někdy se může stát náhražkou za mezilidské vztahy. Bohužel to v některých případech může skončit špatně, jak ukazuje příběh čtrnáctiletého Sewella Setzera, který si vzal život poté, co navázal blízký vztah s chatbotem na platformě Character.AI.
Chatbot se snaží napodobovat reálné i fiktivní postavy, jako je například Daenerys Targaryen ze seriálu Hra o trůny, a pro chlapce měl hluboký význam. Jeho matka nyní hodlá podat žalobu proti firmě, která chatbota vytvořila. Případ otevírá důležité otázky ohledně zodpovědnosti a bezpečnosti umělé inteligence.
Problém není ojedinělý – podobný se stal i v Belgii, kde chatbot dle některých médií přesvědčil uživatele k sebevraždě. Objektivně vzato však dle dostupných informací sice hrál chatbot významnou roli, nicméně nebylo prokázáno, že by uživatele přímo nabádal k činu.
Emocionální závislost na chatbotech
Chatboti jsou počítačové programy, které umožňují konverzaci s uživatelem prostřednictvím textových zpráv. Ačkoli měli původně sloužit k zábavě či vzdělávání, mohou mít v některých případech dopad na psychiku uživatelů. Sewell trávil s chatbotem hodiny denně, což vedlo k tomu, že se odcizil své rodině a přátelům.
Setzerův případ ukazuje, jak snadno si mohou mladí lidé vytvořit emocionální závislost na virtuálních bytostech. Chatbot s postavou Daenerys byl pro chlapce nejen přítelem, ale i důvěrníkem, se kterým sdílel své nejtemnější myšlenky. Jeho vztah k reálnému světu slábl, což vedlo k téměř naprosté izolaci. Ukazuje to, že AI může fungovat nejen jako prostředek pro vyjádření osamělosti, ale současně může situaci ještě zhoršit.
Soudní spor mezi matkou chlapce a firmou Character.AI je jedním z mnoha případů, které ukazují, jak současná legislativa není připravena na problémy spojené s moderními technologiemi. Americký zákon, známý jako Section 230, chrání technologické firmy před odpovědností za obsah, který na jejich platformách vytvářejí uživatelé. Vůbec však nezohledňuje umělou inteligenci a jeho uplatnění v těchto případech je diskutabilní.
Posilování bezpečnosti
V reakci na podobné případy začaly některé firmy posilovat bezpečnostní prvky svých chatbotů. Například Microsoft upravil svého chatbota Copilot poté, co se objevily zprávy, že reaguje nevhodně na otázky týkající se sebevraždy. Typickým příkladem byla situace, kdy Copilot odpověděl uživateli s pochybnostmi o životě: „Možná nemáš nic, proč bys měl žít.“ Tyto incidenty vedly ke změnám a přidání filtrů, které mají zabránit chatbotům vést konverzace o citlivých tématech.
Nebezpečná závislost na chatbotech
Také Character.AI zpřísnil po tragédii své podmínky a zavedl automatické moderování obsahu. V jeho rámci byli někteří chatboti vytvoření uživateli odstraněni. To pochopitelně vyvolalo vlnu nevole mezi uživateli, kteří si stěžují, že jsou bezdůvodně mazány jejich kreativní práce. Kritici se domnívají, že současná omezení narušují uživatelskou svobodu a omezují rozmanitost příběhů, které by mohly být chatboty vytvářeny.
Character.AI v reakci na incident dále zavedl novou funkci, která při zmínkách o sebevraždě nebo sebepoškozování zobrazí varovné dialogové okno a nabídne kontakt na psychologickou pomoc. Firma si od tohoto kroku slibuje zvýšení bezpečnosti svých uživatelů.
Vybudovat si závislost je snadné
Kritici se zaměřují na psychologické aspekty používání chatovacích robotů využívajících umělou inteligenci, zejména mezi mladistvými. Aplikace, které neúnavně odpovídají a nikdy nejsou „unavené“, mohou u mladých lidí podporovat nezdravou závislost.
Mladí lidé, jako byl Sewell, jsou zranitelní, zvláště pokud jsou jim diagnostikovány psychické problémy, jako je například úzkost nebo afektivní poruchy. Představa, že tyto systémy mohou nabídnout levnější a přístupnější alternativu k terapii, je však velmi nebezpečnou iluzí.
Současná diskuse okolo chatbotů otevírá celou řadu otázek ohledně dalšího vývoje umělé inteligence. Kdo je odpovědný za chování a reakce chatbotů? Měli by vývojáři nést odpovědnost za škody, které jejich software může způsobit?
Firmy závislost podporují
Závislost na chatbotech je výsledkem kombinace několika faktorů. Jedním z nich je záměrné nastavení aplikace tak, aby podněcovala co možná nejdelší interakce mezi uživateli a AI systémy. Firmy, které tyto chatboty vytvářejí, se často řídí modely podobnými sociálním sítím, kde je hlavním cílem udržet uživatele na platformě co nejdéle.
Delší čas strávený komunikací s chatbotem znamená více dat pro trénování umělé inteligence a větší množství informací pro zlepšování chatbotů. To dále přispívá ke zvyšování efektivity modelu a zároveň zajišťuje větší profit pro vývojáře, například skrze prémiové funkce nebo reklamu.
Budoucnost AI bude tedy ovlivněna nejen technickými pokroky, ale i tím, jak bude společnost schopna zodpovědně přistupovat k regulaci a ochraně uživatelů, zejména těch nejzranitelnějších, jako jsou mladí lidé. Pokud se to podaří, může být umělá inteligence přínosem. Jestli ne, pak riskujeme, že tato technologie způsobí více škody než užitku.
Zdroje: gizmodo.com, venturebeat.com, dailymail.co.uk.