Další z učebnicových příkladů, že být závislý na službách jedné firmy je možná pohodlné, ale velmi rizikové. Tentokrát navíc okořeněný o to, že AI pro detekci závadného obsahu se může splést a odstartovat celý kolotoč problémů.
Příběh zveřejněný v The New York Times popisuje zkušenosti rodičovského páru nařčeného ze zneužívání dětí. Všechno začalo jednoho pátku v únoru 2021. Rodiče si všimli, že jejich malému synovi otekl penis. Volali proto do nemocnice s žádostí o pomoc.
Byl covid v rozpuku a nestíhalo se, tak sestra požádala rodiče, aby citlivé místo vyfotili a poslali lékaři, který by mohl problém zkontrolovat, ještě než se setkají osobně. Otec (Mark) pořídil několik fotek včetně takových, kde drží synův penis, aby byl otok lépe vidět. Veškeré snímky se mu synchronizují se službou Fotky Google, a tam už v cloudu číhá automatický detektor dětské pornografie.
Po dvou dnech od vyfocení přišlo Markovi na mobil oznámení, že Google odstavil jeho účet, protože narazil na závadný obsah porušující firemní podmínky a který může odporovat i zákonům. Pak si Mark uvědomil, co se asi stalo, protože paradoxně sám pracuje jako vývojář ve velké softwarové firmě, kde se zabývá se tvorbou nástrojů pro hlášení a detekci závadného obsahu.
Když chtěl Googlu problém vysvětlit, najednou neměl jak. Jeho digitální život byl totiž s firmou tak spjatý, že přišel o všechno. U Googlu měl e-mail, ale také telefonní číslo, protože využíval služeb jeho virtuálního operátora Fi. Ztratil ostatní fotky a dokumenty, které zůstaly pouze v cloudu.
Mark nakonec s jiným účtem Google dokázal kontaktovat, ale zástupce firmy mu pouze odpověděl, že jeho starší účet nemohou obnovit. V prosinci 2021 pak Markovi přišel dopis, že jej vyšetřovala sanfranciská policie. Vyžádala si přístup ke všem možným datům od Googlu i Markova internetového poskytovatele. Vyšetřovatel ale nakonec uznal, že o žádné zneužití dítěte nešlo.
Jenže ani tento závěr Googlu nestačil a účet Markovi neobnovil. Ten teď zvažuje, jestli by měl vůbec šanci proti obří korporaci uspět u soudu.
Příběh se točí okolo Googlu, ale stát se může u kterékoliv velké online služby. Microsoft, Facebook i Apple mají rovněž algoritmy kontrolující závadný obsah a napáchané škody na digitální identitě mohou být stejně velké jako u Googlu, pokud je na nich uživatel natolik závislý a nemá data zálohovaná jinde. V případě Applu pak loni vzbudil kontroverzi krok, kterak chce firma kontrolovat i fotky, které by měly být v cloudu „chráněny“ end-to-end šifrováním.