Umělá inteligence | Hacking

Adversarial attack: Přesvědčte umělou inteligenci, že je lesní roh ve skutečnosti čivava

Strojové učení a neuronové sítě dnes velmi úspěšně používáme především v analýze obrazových dat. Tedy třeba k identifikaci, jestli je na fotografii pes, nebo kočka. Tímto způsobem používají techniky z ranku A.I. třeba internetové vyhledávače k indexaci skutečného obsahu obrázků na webu a počítá se i s masivním nástupem do průmyslu.

V každém případě, strojové učení a neuronové sítě jsou jedním ze symbolů další generace automatizace úplně všeho. Pokud chceme naše procesy automatizovat, musí to ale fungovat. A v podstatě bezchybně!

Klepněte pro větší obrázek
Google Photos vám díky strojovému učení dohledají třeba všechny vaše nohy

A tady se už dostáváme na velmi tenký led, současné techniky obrazových neuronových sítí jsou totiž náchylné k tzv. adversarial attacks, což jsou útoky, kdy obrazová data upravíme tak, že sice člověk nic nepozná, ale stroj to naprosto zmate.

Přesvědčíme neuronku, že je lesní roh ve skutečnosti čivava

Nyní si to můžete vyzkoušet přímo ve svém webovém prohlížeči na webu adversarial.js. Stačí z nabídky zvolit některý z modelů neuronové sítě pro rozpoznávání obrázků, třeba ImageNet a kontrolně provést detekci. Pozor, vše probíhá přímo ve vašem prohlížeči a na vašem procesoru, takže to nějaký čas zabere.

Když to bude fotka lesního rohu, ImageNet korektně odpoví, že na snímku vidí s 97% pravděpodobností lesní roh. Vidí ho tam proto, protože v rámci počátečního strojového učení viděl desítky a stovky lesních rohů a pomocí neuronů sítě vytvořil na pixelové úrovní statistický model toho, které pixely a jejich vzájemná poloha nejčastěji odpovídají tomu, čemu říkáme lesní roh.

Klepněte pro větší obrázek
Fotka lesního rohu a detekce pomocí modelu neuronové sítě ImageNet. S 97% pravděpodobností se jedná o lesní roh, takže detekce dopadla správně. 

Tak a teď ta legrace. V rámci adversariálního útoku pozměníme pixely lesního rohu takovým způsobem, aby si tatáž neuronová síť myslela, že to není lesní roh, ale čivava! Ale pozor, to neznamená, že snad budeme do snímku prolínat fotku ušatého psíka, ale do obrazu vložíme jen nepatrný šum.

Zatímco my uvidíme jen cosi, co připomíná JPEG artefakty, pro neuronovou síť ImageNet to bude vzor pixelů, ve kterých vidí rysy čivavy. ImageNet není lidský mozek, nemá oči a na pixely pohlíží jako na pole červeného, zeleného a modrého RGB subpixelu, takže i typické rysy čivavy vnímá úplně jinak než my.

Klepněte pro větší obrázek
Fotka lesního rohu a detekce pomocí modelu neuronové sítě ImageNet. S 97% pravděpodobností se jedná o lesní roh, takže detekce dopadla správně. 

Jako útočníkům nám tedy stačí analyzovat, jak se neuronová síť učí vidět čivavu, no a pak tyto rysy promítnout do snímku lesního rohu. Toto vše za nás naštěstí udělala už stránka Adversarial.js, která dodá do snímku lesního rohu onen speciální šum a ImageNet na fotce rázem místo rohu uvidí čivavu.

Nebezpečí pro automatizovaný svět zítřka

Z tohoto důvodu budou adversariální útoky výhledově velmi nebezpečné, mohou totiž zcela zničit práci nějakého obrazového detektoru. Stačí mu předložit upravená data. Mohlo by se jednat třeba o hack chytré kamery, do jejíhož proudu H.264 snímků by malware doplňoval právě podobný šum.

Klepněte pro větší obrázek
Fotka lesního rohu a detekce pomocí modelu neuronové sítě ImageNet. S 97% pravděpodobností se jedná o lesní roh, takže detekce dopadla správně. 

Člověk by jej prakticky nevnímal, A.I. detekci obrazu, třeba nějaký bezpečnostní systém, by to ale naprosto vyřadilo ze hry, přestala by totiž v obrazu vidět lupiče. A to raději ani nemluvme o automobilové autonomii na bázi běžného kamerového vstupu pro rozpoznávání okolí.

Možnosti obrany proti těmto útokům se teprve studuje, jednou z cest je ale jeho obrazová detekce. To znamená, že neuronové sítě nebudou na snímcích hledat jen nějaké konkrétní objekty, ale právě i tento speciální šum, který se naučí hledat podobným způsobem, jako se dříve naučily vnímat, jak vypadá skutečný lesní roh.

Diskuze (3) Další článek: Nejpopulárnější výrobce čipů pro kutily představil procesor na bázi RISC-V

Témata článku: Technika, Umělá inteligence, Hacking, JPEG, Neuronová síť, Strojové učení, ImageNet, Detekce, SKU, Čivava, Google Photos, Roh


Určitě si přečtěte

CZ.NIC bezplatně naděluje USB/NFC klíče. Jak jej získat?
Lukáš Václavík
CZ.NICeGovernment
Cableporn: Podívejte se na úžasná díla umělců z podnikových serveroven

Cableporn: Podívejte se na úžasná díla umělců z podnikových serveroven

** Uspořádání kabelů můžete vnímat i jako podivný druh umění ** To nejkrásnější se skrývá v datacentrech a serverovnách ** Podívejte se na skutečné „cableporn“ z optiky i kroucené dvojlinky

Vojtěch Malý | 52

Vojtěch Malý
DatacentraServery
Messenger a Instagram přicházejí v Evropě o funkce. Kvůli nové směrnici o soukromí
Vladislav Kluska
EvropaInstagramFacebook Messenger
Čím nahradit WhatsApp: Vyberte si z 10 alternativních komunikátorů

Čím nahradit WhatsApp: Vyberte si z 10 alternativních komunikátorů

** Z WhatsAppu kvůli novým podmínkám utíkají tisíce uživatelů ** Čím nahradit populární aplikaci pro zasílání zpráv? ** Vybrali jsme pro vás 10 alternativních komunikátorů

Karel Kilián | 110

Karel Kilián
KomunikaceWhatsAppInstant Messaging
Šéf Spotify: Budeme zdražovat. Náš obsah se zlepšil
Markéta Mikešová
PředplatnéSpotify

Aktuální číslo časopisu Computer

Jak prodloužit výdrž notebooku

Velké testy: gamepady a inkoustové tiskárny

Důkladný test Sony Playstation 5