Neuronové sítě dnes dělají s fotografiemi všemožné kousky, přičemž u mnohých bychom mohli pochybovat, zdali to má nějaký praktický smysl. Ta od Jasona Antica však v posledních 24 měsících slaví ohromný úspěch a už zaplnila YouTube. A také MyHeritage – jednu z nejslavnějších komunitních genealogických služeb na internetu.
Řeč je samozřejmě o technice DeOldify, která už podle svého názvu automaticky koloruje černobílé fotografie a videa. Zatímco filmoví restaurátoři celé 20. století obarvovali černobílý film z II. světové války a dalších dějinných událostí v podstatě ručně políčko po políčku, případně jen s několika málo automatizačními vylepšováky, DeOldify na to jde úplně jinak.
Černobílý autor článku z 90. let a po kolorizaci pomocí neuronové sítě DeOldify
Stejně jako jakákoliv jiná neuronová síť využívá statistiku a pečlivě naučený pravděpodobnostní model, jakým černobílým subpixelům odpovídají ty barevné. Stačí tedy sehnat pár tisíc fotografií v černobílém a barevném provedení a prohnat je skrze algoritmus, který na základě prachsprosté matematiky a neustálého opakování vytvoří model toho, že našedlým pleťovým odstínům na fotografii vaší babičky kdysi ze 40. let minulého století odpovídají třeba odstíny růžové.
DeOldify na MyHeritage
Přesně k tomuto totiž techniku DeOldify využívá již zmíněná služba MyHeritage, která ji vycvičila na vlastních datech a nabídla registrovaným členům jako funkci In Color. Jak to zvládá v praxi, se můžete podívat v naší zimní galerii.
MyHeritage In Color a obarvení stejné fotografie jako výše. Surová technologie DeOldfiy z GitHubu si s fotografií už na první pohled poradila lépe než MyHeritage.
Výsledky DeOldify na MyHeritage ovšem nedopadnou vždy dobře, a tak stojí za to vyzkoušet přímo surovou technologii na vlastní pěst (a klávesnici). Nebojte se, pro zkušenějšího uživatele počítače by to nemělo být nic složitého.
DeOldify v Google Colab
DeOldify si totiž můžete zdarma vyzkoušet na výkonných serverech Googlu a ve webovém interaktivním vývojovém prostředí Google Colab. V podstatě se jedná o předvyplněné bloky příkazů v linuxovém terminálu a zdrojového kódu v Pythonu, které budete dle návodu postupně spouštět, aniž byste museli cokoliv instalovat na svém vlastním počítači bez patřičné GPU akcelerace pomocí technologie CUDA.
K dispozici je jak projekt pro obarvování fotografií, tak celého videa. Stačí na některý z odkazů klepnout a s pomocí anglického komentáře postupně spouštět jednotlivé bloky kódu, jako byste seděli před linuxovým terminálem a kdosi vám radil, co máte vyťukávat na klávesnici.
Google Colab je interaktivní linuxový terminál. Může kombinovat běžný text s příkazy a kódem, které můžete rovnou spouštět. Takto si postupně krok za krokem připravíte na serveru celý program DeOldify napsaný v Pythonu.
Tímto pro běžné smrtelníky možná trošku krkolomným a inženýrským způsobem si můžete obarvit fotky z dětství, fotky babiček a dědečků a to vše, aniž byste museli cvičit svoji vlastní neuronku. Služba Google Colab je zároveň zcela zdarma a zkušenější uživatelé mohou předvyplněný kód samozřejmě libovolně upravit včetně parametrů samotného obarvování.
Prošel jsem celý postup krok za krokem, spustil všechny dílčí příkazy a nyní už mohu do Colabu načíst fotku skrze internetové URL a spustit obarvení. Nejpozději za pár desítek sekund se zobrazí výsledek.
Barevný originál, černobílá verze a pro porovnání výsledek, jak jej obarvila DeOldify. Odstranila historickou patinu, pleťové barvy jsou tedy růžovější. Jedinou vážnější chybou je nekróza pravé nohy zhruba šestnáctiletého autora článku.
Zkušení harcovníci samozřejmě spustí DeOldify i na vlastním linuxovém stroji s výkonnými CUDA grafikami, no a to je pak už jen krůček k tomu, aby si začali hrát s hromadou parametrů a obarvování i delšího videa.
YouTube je plný vylepšených ikonických videí
Právě díky nim se začal v průběhu letošního roku plnit YouTube novými vylepšenými videi mnoha ikonických scén 20. století. Najdete je velmi snadno, na videoportálu totiž stačí vyhledat spojení „deoldify.“
My to nakonec udělali za vás, a tak se v několika následujících kapitolách podívejte na některá z těch nejpovedenějších scén. Jejich autoři přitom často použili nejen obarvení černobílého obrazu, ale pomocí dalších technologií dopočítali také chybějící pixely, a zvýšili tak rozlišení a dokonce i FPS.
Díky tomu některá historická videa třeba z II. světové války vypadají, jako byste je natáčeli spíše současnou outdoorovou 60Hz kamerou, než tehdejší předpotopní technikou.
První ukázkou bude obarvená a vylepšená exploze bitevní lodi HMS Barham, kterou 25. listopadu 1941 zasáhla torpéda německé ponorky U-331.
HMS Barham byla bitevní britská loď třídy Queen Elizabeth, která se účastnila bojů I a II. světové války. 25. listopadu 1941 loď zasáhla německá ponorka U-331. Loď se převrátila a později explodovaly její muniční sklady.
HMS Barham na dobových fotografiích
Autoři z kanálu Neural Networks and Deep Learning na YouTube vzali dobový černobílý a notně poškozený záznam, strojově zvýšili jeho rozlišení na 4K a dopočítali snímky na 50 Hz. Jak to dopadlo, se podívejte níže.
V další ukázce, co zvládne DeOldify, se podíváme na neméně ikonický záznam exploze z jaderného kanónu a ničivé účinky tlakové vlny.
Na jaře roku 1953 se v nevadské poušti uskutečnilo několik jaderných testů operace Upshot-Knothole Grable. Nálože tentokrát neexplodovaly na věžích, nebo pod zemí, ale na místo dopadu je střílel atomový kanón M65. Šrapnel s výbušnou sílou ekvivalentu až 61 000 tun TNT se naštěstí nikdy nezapojil do skutečných proxy bojů studené války.
Ikonické jaderné dělo z operace Upshot-Knothole Grable
Původní černobílé video zachycuje samotný výbuch a ničivé účinky tlakové vlny, skupina Neural Networks and Deep Learning jej ale opět vylepšila pomocí softwaru Video Enhance AI a obarvila pomocí DeOldify.
A protože výbuchy se nikdy neomrzí, v další kapitole se podíváme na obarvenou zkázu vzducholodě Hindenburg.
Německá vzducholoď LZ-129 Hindenburg se do dějin zapsala svými obřími rozměry: délkou 245 metrů a průměrem 41 metrů, především pak ale osudným 6. květnem roku 1937, kdy při letu z Frankfurtu do New Yorku během přistání přeskočila jiskra a vodíkem naplněná vzducholoď kompletně shořela.
Vzducholoď Hindenburg a její zkáza poblíž New Yorku
Video tentokrát autoři vylepšili pomocí programu Gigapixel AI a obarvili opět v DeOldify.
Na závěr se podíváme ještě na jednu ukázku: Osvobození koncentračního tábora Dachau americkými jednotkami.
30. dubna 1945 americké jednotky vstoupily do Dachau a osvobodili tamní koncentrační tábor. Společně s pěchotou byli na místě i kameramani, kteří zachytli jeden z posledních střetů.
Video tentokrát opět prošlo vylepšením v nástroji Video Enhance AI a obarvením v DeOldify, výsledek tedy tak trošku připomíná záběry ze současné outdoorové kamery.