Nové počítačové algoritmy v čele s nejrůznějšími generátory fiktivního audiovizuálního a textového obsahu nám pravděpodobně za pár let pěkně zamotají hlavu, nikdo už totiž bez komplexní analýzy nerozpozná, co je skutečně pravda.
Přes veškerý pokrok v posledních letech jsou však deep fake videa, kdy osobě v záznamu vložíte do úst něco jiného, případně vygenerujete celou postavu známého politika, ještě stále rozpoznatelná a spíše se jimi bavíme, než abychom je brali za bernou minci.
Stručně řečeno, ten opravdu uvěřitelný podvodný obsah na internetu, který se jako lavina šíří sociálními sítěmi i řetězovými e-maily, ještě stále tvoří člověk z masa a kostí, a tak nezbývá než pečlivě vybírat zdroj informací, kterému prostě musíme důvěřovat, anebo vše sami ověřovat.
To je však ve skutečnosti mnohem složitější, než praví kdejaká poučka boje proti nepravdám a nesmyslům, případně už notně vyprázdněný apel na co nejkritičtější… Kritické myšlení.
Letošní deep fake video z Markem Zuckerbergem a projevem, který ve skutečnosti nikdy neřekl. Viz náš starší článek:
Stručně řečeno, když už k vám doputuje nějaký ten upravený nebo zneužitý obrázek, z jehož kontextu nemusí být hned patrné, že se jedná o naprostý nesmysl, nezbude vám (vedle důvěry ve zdroj) nic jiného, než tvrdá práce – nějaký softwarový nástroj, který se pokusí odhalit modifikace fotografie už na pixelové úrovni, anebo třeba vyhledávač TinyEye, který se snaží podobně jako Google dohledat původní zdroj.
Dnes je jich na internetu celá řada, pojďme se tedy na pár z nich podívat a popišme si, jaké metody používají nejčastěji.
FotoForensics
K těm nejstarším a nejcitovanějším patří jednoduchý webový nástroj fotoforensics.com, do kterého můžete nahrát libovolný JPEG/PNG obrázek (nebo vložit jeho odkaz). Aplikace poté nabídne několik nástrojů, které v mnoha případech na první pohled odhalí, že jsou ve snímku různé části, které nemají homogenní charakter.
FotoForensics po nahrání fotografie nabídne několik analýz, které pomohou odhalit, zdali do fotografie někdo nezasahoval
To znamená, že podklad pochází třeba z digitálního fotoaparátu a jedná se o fotografii s určitou mírou ztrátové komprese JPEG. Později tuto fotografii někdo upravil a vložil do ní další snímek z jiného zdroje, který má odlišnou JPEG kompresi a strukturu artefaktů. Lidské oko tento rozdíl nemusí poznat, ale když tyto rozdíly zesílíme a zobrazíme třeba metodou ELA – Error Level Analysis, uvidíme, že je ve snímku nějaký cizí objekt, který tam prostě nepatří.
Metoda ELA
Error Level Analysis je jednou z nejčastějších a základních metod, která nám pomůže odhalit zásah do původní fotografie se ztrátovou kompresí (dnes nejrozšířenější JPEG).
Metoda ELA, která se pokouší odhalit různou míru ztrátové komprese na fotografii
Při ztrátové kompresi se ve snímku objevují různé chyby – artefakty. Zobrazovací metoda ELA zpravidla používá detekci hran, které zesílí, což vede k zobrazení i těchto artefaktů. Pokud je rozložení a charakter těchto artefaktů v některé části fotografie výrazně odlišné, může to znamenat, že se jedná o cizí objekt, který již prošel JPEG kompresí s odlišnými parametry než zbytek scény.
Jak vidno, použil jsem fotografii s neteří, kterou jsem narouboval na horský štít a ELA v nitru FotoForensics jasně ukázala, že se jedná o cizí objekt. Na stranu druhou, schválně jsem použil upravenou fotografii, se kterou jsem si v grafickém editoru hrál nejvýše pár minut, a jedná se tedy o velmi nekvalitní podvod, který je patrný na první pohled.
Pojďme tedy zkusit ještě jeden snímek:
Nábřeží Seiny a pohled na ikonickou Eiffelovu věž? Ne, to je Dyje a břeclavské nábřeží.
Na tomto pohledu na Eiffelovu věž z nábřeží Seiny je něco zvláštního. Skoro to až vypadá, že se nejedná o pařížskou metropoli s honosnou výstavbou, ale spíše o nějaké to české okresní město. Správně, věž jsem narouboval do jihomoravské Břeclavi.
Faktografické znalosti – kontext – tedy odhalí, že se jedná o podvod, ale cizinec, který nezná Břeclav, by už mohl zapochybovat, s Eiffelovkou jsem se totiž trápil o něco déle než s neteří, abych zároveň co nejvíce sjednotil i světla, stíny a obecně barevné pojetí.
Co na fotografii tentokrát řekne ELA v nitru FotoForensics?
Eiffelova věž v Břeclavi a metoda ELA
Jak vidno, i v tomto případě je jasně patrný rozdílný charakter pozadí a objektu věže. Aniž bychom museli přesně umět interpretovat ELA, je zjevné, že tady není něco v pořádku. Nutno ale podotknout, že ne vždy ELA funguje takto dobře a na první pohled.
Forensically
FotoForensics není jediným svého druhu. Až vás unaví, zkuste další bezplatnou aplikaci na adrese 29a.ch/photo-forensics. Stránka s poněkud modernějším vzhledem nabízí vedle ELA další metody, které by mohly indikovat umělý zásah do scény. Nabízí tedy třeba analýzy šumu (Noise Analysis).
Fotografie mimozemského korábu nad městem. ELA odhalí, že se jedná o vložený objekt a analýza duplicit zároveň odhalí zkopírované obláčky.
Každá fotografie obsahuje přirozený šum napříč barevným spektrem. Tento nástroj může odhalit, pokud se šum v některých oblastech náhle nevyskytuje, anebo má zcela odlišný charakter. Podle autora tato metoda může odhalit softwarově dopočítaná data, tedy jakékoliv geometrické úpravy. Typicky třeba tekutý štětec, změnu perspektivy aj.
Autor Forensically a šumová analýza, která odhalila zásah tekutým štětcem a zvětšení nosu, dopočítané pixely totiž mají odlišný charakter šumu než zbytek scény
Nutno podotknout, že tato metoda funguje především na rozměrných fotografiích, a nikoliv na zmenšeninách, které se nakonec šíří internetem.
FALDetector s neuronovou sítí
Do třetice se pojďme podívat ještě na jednu metodu odhalování podvodných úprav. Je ze všech zmíněných zdaleka nejsofistikovanější, do hry se totiž už zapojuje neuronová síť od výzkumníků z Adobe Research a Kalifornské univerzity z Berkeley. Studii najdete na Arxivu (PDF), zdrojové kódy a použitelné demo v Pythonu pak na GitHubu.
Neuronová síť z Kalifornské univerzity a Adobe Research se chlubí, že odhalí modifikace tváře
Experimentální nástroj se jmenuje FALDetector a dokáže detekovat geometrické úpravy tváře, se kterou si někdo pohrál v Photoshopu či jiném komplexním nástroji.
Textová aplikace v Pythonu na běžném počítači během několika desítek sekund analyzuje vstupní fotografii, vyhledá na ni lidskou tvář a vygeneruje tepelnou mapu (heatmapu), ve které pomocí barevných odstínů vyznačí deformované oblasti včetně intenzity.
Náš testovací pan Rudolf nemá nikdy dobrou náladu. Abychom ji ještě více umocnili, na snímku vpravo jsme mu pořádně vykulili oči pomocí tekutého štětce v Zoner Photo Studiu.
A takto vidí pana Rudolfa neuronová síť FALDetector. Sice si myslí, že je umělá i jeho pleš (bohužel pro Rudolfa, není), už ale zcela správně odhalila naši drobnou úpravu očí.
Tuto techniku lze tedy zase použít v případech, kdy chceme zjistit změny, které provedl zkušený grafik při retuši surových fotografií modelek, anebo politiků, kterým je třeba odstranit druhou, nebo i třetí bradu.
3. světová válka se odehraje v nitru datových center a na výkonných GPGPU kartách
FALDetector je ale především ukázkou technologií, které se budou objevovat stále častěji, neboť lidstvo do boje se stále schopnějšími generátory fake news, povolá podobné algoritmy pro počítačové vidění a neuronové sítě.
Zatímco jedna neuronová síť zítřka tedy bude generovat podvodné fotografie a bude je šířit třeba na Facebooku skrze své zcela umělé účty, další neuronová síť – ta, která bude patřit naopak Facebooku, bude nahrávané fotografie průběžně analyzovat a automaticky označí ty, u kterých si bude myslet, že jsou podvodné.
Suma sumárum, příští velkou informační bitvu za nás povede software, výkonné CUDA/OpenCL grafiky v nitru datových center a bojištěm bude internet, což je nakonec vlastně docela dobrá zpráva.