Podobu fotografie v příštích letech prý nebude definovat ani tak kvalita optiky a samotný snímací čip, jako spíše softwarové zpracování dat, do kterého se dnes stále více zapojují techniky z ranku strojového učení a neuronových sítí.
Soudě dle toho, že běžný smrtelník už dnes fotografie pořizuje především na svém telefonu, který je přes rostoucí počet čoček a další vychytávky miniaturizace odkázaný na základní zákony optiky, softwarová post-produkce je mnohdy jedinou možností, jak vzdorovat přírodě.
Adobe pustil neuronovou síť do Lightroomu
Ale pozor, nástup A.I. ve fotografii není jen doménou mobilů, ale i těch největších hráčů na trhu. Sharad Mangalick se před pár dny na blogu Adobe pochlubil novinkami v Camera Raw a Lightroomu.
Jedná se o balík funkcí Enhance Details, které slibují zapojení konvoluční neuronové sítě (CNN) do zpracování RAW snímků prakticky ze všech relevantních fotoaparátů počínaje Canonem a Nikonem a konče Sony a Fujifilmem.
Lightroom dokáže vylepšovat fotografie pomocí neuronové sítě
Díky vylepšení detailů a odstranění artefaktů lze mnohem lépe pracovat i se snímky s menším rozlišením. A právě nízké rozlišení je další výzva pro neuronové sítě, v poslední době se totiž na webu vyrojil celý zástup služeb, které slibují zvětšení malých fotek právě pomocí atraktivního slovíčka „A.I.“
Pojďme zvětšit dvě maličké cyklistky
Je to jen marketing, jak nalákat nové zákazníky na vylepšovák, který není ani o píď schopnější než zvětšení fotografie v jakémkoliv pořádném grafickém editoru? Pojďme jich pár vyzkoušet – pomohou nám v tom dvě modelky ze Shutterstocku; říkejme jim třeba cyklistky Kryšpína a Bedřiška.
Bedřiška ze Shutterstocku má jeden problém: rozměry pouhých 500 × 334 pixelů
Kryšpína je na tom bohužel úplně stejně. Zkusíme je zvětšit.
Obě mají jeden drobný problém – jsou příliš malé, jejich nebohé rastry totiž mají jednotný rozměr 500 × 334 pixelů. To není zrovna tisková kvalita, že? Co kdybychom z nich ale chtěli vyrobit fotografie o rozměrech 2 000 × 1 336 pixelů?
Primitivní technika nejbližších bodů
Nejprve se podívejme, jak by Bedřiška s Kryšpínou vypadaly, pokud bychom je zvětšili tou nejprimitivnější technikou nejbližších bodů prakticky bez jakéhokoliv vyhlazení.
Primitivní technika zvětšení fotografie v Zoner Photo Studio
Obě cyklistky se v takovém případě při 100 % přiblížení zobrazí s patrným čtverečkováním. V našem případě to zjevně není nejlepší metoda, dobře ale poslouží jako ta bazální, dále už by to totiž mělo být pouze a jedině lepší.
Zvětšení na 2 000 × 1 336 pixelů technikou nejbližších bodů a patrné čtverečkování
Ani druhá cyklistka tomuto neduhu neunikla. je sice větší, ale stále nepoužitelná.
Pokročilejší technika supersamplingu
Nyní naopak použijeme metodu supersamplingu a opět se pokusíme děvčata zvětšit na tiskové rozměry. Ačkoliv se jedná o pokročilou techniku, výsledek v podstatě nevypadá o moc lépe.
Jediný rozdíl je v tom, že se nám původní čtverečky prolnuly a vyhladily, ale ani tato technika žádným zázračným způsobem nedopočítá data, která v obrazu prostě chybí.
Nyní zkusíme pokročilejší techniku supersamplingu
Zvětšení v běžném grafickém editoru tedy funguje jen do určité míry – pokud potřebujeme originál nafouknout o jednotky, nejvýše několik desítek procent, ale z malého obrázku rozhodně neudělá fotografii vhodnou pro kvalitní tisk.
Zvětšená modelka pomocí techniky supersamplingu. Ostré čtverečky nahradily ty vyhlazené, ale snímek je prakticky nadále nepoužitelný.
Ani druhá cyklistka pochopitelně nedopadla lépe
Ano, to přece ví každé malé dítě s počítačem, my jsme si to ale potřebovali názorně vyzkoušet, neboť právě toto nabízejí webové služby, které slibují zapojení neuronové sítě. Tak co, dopočítají chybějící data třeba na základě toho, že si v rámci strojového učení nastudovaly tisíce a tisíce snímků, a tak vědí, které pixely a jak dokreslit?
Webový Bigjpg slibuje zvětšení pomocí neuronové sítě
Jednou z takových služeb je třeba Bigjpg.com. Web má poměrně spartánské prostředí – prostě jen tlačítko pro výběr souboru, ale k dispozici jsou i aplikace pro Windows a mobilní telefony. V bezplatném režimu můžete až 4× zvětšit fotografie a ilustrace a to až 20× měsíčně. Placené paušály pak nabízejí až 16× zvětšení.
V bezplatném režimu nabízí Bigjpg až 4× zvětšení s optimalizací pro fotografii a kresbu
Bigjpg vychází z technologie Waifu2x, kterou najdete na GitHubu. Je primárně určená pro zvětšování ilustrací s jednoduššími barvami a každý, kdo ji vyzkouší, záhy zjistí proč. Několikanásobně zvětšený snímek na naše cílové rozměry 2 000 × 1 336 pixelů totiž dopadne takto:
Bigjpg sice odstranil některé artefakty, ale nedopočítal chybějící data. Výsledkem je tedy fotografie s efektem malířského štětce, který ale nechceme.
Bigjpg nepomohl ani druhé cyklistce. Je sice větší, ale nadále k ničemu.
Jak vidno, naše cyklistky se sice opravdu nafoukly, avšak jediné kouzlo, které A.I. provedla, je drastické odstranění veškerých artefaktů takovým způsobem, jak to znají majitelé většiny levnějších fotomobilů. Právě takové snímky totiž kvůli silnému softwarovému zpracování generují za složitějších světelných podmínek. Výsledkem je efekt štětce. Ten ale nechceme.
Sílu destrukce obrazu jen mírně upraví nastavení odstranění šumu, ale i když jej vypnete, Bedřiška s Kryšpínou si rozhodně nezaslouží tisk, deformace obrazu totiž bude obrovská. A do jisté míry horší, než když bychom fotografie zvětšili standardní hloupou metodou.
Vzhledem k použité technice by ale Bigjpg docela slušně obstál při zvětšování některých strukturálně-jednodušších rasterizovaných vektorů – ilustrací, log aj., protože efekt rozpitých barev bude působit mnohem přirozeněji.
Webový Let's Enhance s požehnáním Nvidie
Bigjpg nicméně není jedinou službou svého druhu, k těm čerstvým totiž patří také mladý britský startup Let’s Enhance, který dnes podporuje špička v A.I. – Nvidia. Let’s Enhance stejně jako Bigjpg touží především po platících zákaznících, nicméně i ona nabízí na zkoušku bezplatný účet.
Let's Enhance se nespecializuje pouze na prosté zvětšení, ale i vylepšení
Služba trpí opět technickými neduhy jako Bigjpg, nedopočítá spolehlivě chybějící data a spíše se jen pokusí odstranit artefakty, na stranu druhou ale výsledná omalovánka není tak drasticky poničená jako v prvním případě.
Má to však jeden háček. Britský web je plný UX chyb a trvale přetížený, takže i když vám po nahrání fotografie napíše, že je odhadovaný čas zpracování „less than a minute,“ ve skutečnosti to může být i několik hodin.
I po dvou hodinách se u našich cyklistek píše: „ETA: less than a minute,“ služba je tedy nejspíše dlouhodobě přetížená
Namísto děvčat San Francisco
Naše cyklistická děvčata se mi nakonec pomocí této služby nepodařilo zvětšit ani po dvou hodinách, a tak namísto nich nabídnu pro srovnání panoramatický snímek San Franciska pořízený z betonové věže Coit Tower.
Zatímco originál jsem pořídil letos na jaře a panorama zpracoval do rozměrů 3 000 × 1 244 pixelů, Let’s Enhance jej zvětšil na úctyhodných 19 288 × 8 000 pixelů – 154 megapixelů! No dobrá, ale stálo to za to? Podívejte se:
Takto vypadá výřez původního snímku při 100% přiblížení
A takto vypadá výřez při 100% přiblížení po zvětšení v Let's Enhance
A ještě pro lepší představu: takto vypadá celá zvětšená fotografie při 8% přiblížení
I při zvětšení pomocí této služby se samozřejmě ve fotografii objeví nežádoucí prvky, v případě snímku velkoměsta s ostrými konturami jednolitých budov však není deformace tak ničivá a s fotografií by se už dalo pracovat i v tisku.
Ani v tomto případě se však nejedná o žádnou zázračnou technologii, která fotorealistický dopočítá chybějící pixely. Jen s menším či větším úspěchem odstraní některé artefakty.
I když se tedy techniky A.I. používají jak ve fotomobilech, tak v desktopovém softwaru stále častěji, zatím kvalitní optiku a snímací čip rozhodně nenahradí a za každou A.I. operaci zaplatíte určitou daň.
Platí to i o fotomobilech nejvyšší třídy, které díky pokročilému softwaru sice mohou pořizovat skvělé snímky za špatných světelných podmínek, rozhodně to však (zatím) neznamená, že se snad v kresbě detailu vyrovnají poctivému fotoaparátu na stativu a delší expozici.