Strojové učení | Fotografování

Strojové učení z nás udělá lepší fotografy. Se smartphonem budeme fotit lépe než se zrcadlovkou

  • Apple má v mobilní fotografii navrch, tvrdí to i bývalý viceprezident Googlu
  • Neuronové sítě se postarají o úpravu fotky ještě před vyfocením
  • Umělá inteligence za nás vybere i správnou kompozici

Bývalý viceprezident Googlu Vic Gundotra před několika dny zveřejnil na svém facebookovém profilu příspěvek o tom, že digitální zrcadlovky jsou mrtvé a že Apple je s kvalitou mobilního fotografování několik let napřed před Androidem. Na tyhle výroky jsme zvyklí na prezentacích Applu, ale z úst vysoce postaveného manažera, který prošel Googlem či Microsoftem, však zní přece jen jinak.

Ačkoliv nemusíme souhlasit s jeho srovnáním obou platforem, v hlavním sdělení má pravdu - pro většinu uživatelů již fotoaparáty přestaly dávat smysl. A to nejen díky pokročilému hardwaru, který nosíme denně v kapsách, ale i softwaru. V práci s mobilní fotografií nás navíc čeká další skok díky zapojení strojového učení a umělé inteligence.

Clipboard01_.jpg
Vic Gundotra nahněval všechny uživatele Androidu - iPhony prý mají ve focení náskok několika let (zdroj: Facebook)

Apple v popředí

Pokud si otevřeme statistiky Flickru, které udávají nejčastěji používané fotoaparáty, na prvních pozicích nenajdeme ani Nikon, ani Canon. Pět nejpopulárnějších zařízení je zároveň pět posledních iPhonů, jimiž každý den uživatelé vyfotí a odešlou na Flickr téměř 70 tisíc fotografií.

Tahle čísla samozřejmě nevypovídají mnoho o kvalitě fotoaparátů vestavěných v iPhonech, nicméně i specializované weby typu DPreview hodnotí iPhone 7 Plus jako nejeden z nejlepších mobilních foťáků, v mnoha aspektech potom jako vůbec nejlepší. Vic Gundotra tedy nebude se svým tvrzením daleko od pravdy.

Apple má ve srovnání s androidí konkurencí obrovskou výhodu v současném vývoji hardwaru a softwaru. Vývojáři nemusí řešit žádná API či další otevřená rozhraní, která jsou v případě telefonů s Androidem využívána fotoaplikacemi konkrétních výrobců telefonů. Ti se totiž většinou nespokojí s nativní fotografickou aplikací, u níž jde o co možná nejuniverzálnější kus softwaru bez další optimalizace pro použitý hardware. Celý tento proces samozřejmě znatelně prodlužuje nástup nových technologií do telefonů s Androidem.

Jako nejlepší příklad může sloužit využití dvoučočkového fotoparátu v iPhonu 7 Plus, který je primárně určen pro portrétové focení. Díky 28mm a 56mm objektivům lze fotit portréty (i další typy fotografie) s malou hloubkou ostrosti a tedy rozostřením pozadí. Bokeh byl přitom doposud doménou fotoaparátů s vhodnou kombinací čipu a objektivu. Apple se zde ale nemohl spolehnout pouze na hardware - z větší části jde především o postproces, který se postará o zvýraznění kýženého efektu. Ne vždy je sice výsledek ideální a srovnatelný s fotografií pořízenou zrcadlovkou s portrétovým sklem, jenže to většinu uživatelů trápit nebude.

Žádný konkurenční telefon zatím v takové kvalitě funkci nenabízí právě i kvůli tomu, že je zde obzvlášť nutná úzká spolupráce použitého hardwaru i softwaru. Stejně tak mohly v minulosti iPhony přinést jako první pořádná sešívaná panoramata nebo natáčení slow-motion videí. Ano, Android to umí také, ale jsou zde patrné silnější korekční softwarové zásahy jednotlivých výrobců.

Když stačí software

Opačným příkladem však může být například pořizování fotek s vysokým dynamickým kontrastem - HDR. Tady podle několika testů vévodí Google s Pixelem i proto, že jde o ryze softwarovou záležitost.

Vývojáři Androidu se totiž oprostili od tradiční metody, kdy je spojováno několik snímků s různou expozicí (bracketing). Místo toho, aby telefon pořídil fotografii podxpenovanou, přeexponovanou a s korektní expozicí, vyfotí pouze větší množství fotek podexponovaných. Aplikace se postará o softwarovou korekci expozice tak, aby byl výsledkem HDR efekt, hlavní výhodou je však minimum šumu v podexponovaných částech - ten bývá nejčastějším problémem HDR fotografií u většiny telefonů.

Fotografická aplikace totiž navzájem porovná snímky, analyzuje úroveň šumu v jednotlivých částech a následně jej z výsledné fotky odečte. Tahle metoda je ostatně využívána i u focení při horších světelných podmínkách. Místo delšího času expozice pořídí telefon více fotek s vyšší citlivostí a tudíž vyšší úrovní šumu (a zachováním ostrosti) a šum je eliminován stejnou metodou jako u HDR+ v případě Pixelu.

Nástup strojového učení

Ať už jde o simulaci malé hloubky ostrosti v případě Portrétového módu u iPhonu 7 Plus nebo režim HDR+ u Pixelu, jde o značné přiblížení mobilní fotografie k běžným fotoaparátům. A o další stupeň tohoto vývoje se má postarat strojové učení.

Jednu z metod prezentovali vývojáři z MIT, kteří si dali za cíl v reálném čase na úrovni hledáčku vylepšovat fotografie ještě před jejich vyfotografováním. A ani zdaleka se nebavíme o jednorázové korekci expozice, zvýšení saturace či úpravě jasu/kontrastu.

Na začátku bylo 5 000 surových fotografií, kdy každou z nich následně upravila pětice fotografů z Adobe. Tenhle dataset byl využit jako zdrojová data, díky nimž se systém mohl naučit, jaká vylepšení je v kterých případech potřeba využít, aby výsledek lahodil lidskému oku.

Úpravy jsou následně využity nejen pro vylepšení již vyfotografovaného snímku, ale přímo na reálný náhled v aplikaci - podobně jako například filtry při focení v aplikacích jako je Prisma nebo Snapchat vidí uživatel změny ještě před stisknutím spouště. Výhodou je, že se touto metodou několikanásobně snížily výpočetní nároky na úpravu fotografie a lze je tedy bez problému využít v reálném čase. To si ostatně můžete prohlédnout na konci videa:

Umělá inteligence pro lepší kompozici

Obrazové vlastnosti jsou jen jednou z důležitých vlastností - ještě o něco podstatnější je správná kompozice. S tou si doposud žádná z aplikací neporadí, a tak je jejich maximem zobrazení mřížky znázorňující pravidlo zlatého řezu. I to by se však mohlo změnit.

Hlavní roli opět hraje strojové učení, které v projektu Googlu jako zdroj vzorových dat dostalo 15 tisíc nejlépe hodnocených fotografií na fotografickém webu 500px. Kromě toho, že byly analyzovány obrazové parametry jako saturace, jas/kontrast nebo vyvážení bílé, zkoumala AI také kompozici snímků. Díky tomu neuronová síť zjistila, jak mají být objekty ve snímku zobrazeny nebo jak nejlepší fotografové pracují se světlem.

Druhou částí experimentů byla samotná úprava fotek takto vybavenou umělou inteligencí. Využívány byly pouze záběry ze Street View, které měl software najít, oříznout do ideální kompozice a zároveň upravit jejich obrazové vlastnosti. Výsledkem byly profesionálně působící fotografie, s jejichž správnou kompozicí a následnou úpravou by měla většina fotografických začátečníků problém.

1500832887196-7.jpg
Takto AI vytvořila profesionální snímek. Na začátku bylo panorama z Google Street View (a), na konci líbivá fotografie s korektní kompozicí a barvami (d)

O vyhodnocení experimentu se postaralo šest profesionálních fotografů, kteří známkovali 173 takto upravených fotek známkami od 1 (úroveň začínajícího fotografa) do 4 (profesionální práce). 41 procent fotek bylo hodnoceno známkou 3 nebo vyšší a 13 procent z nich se dostalo nad 3,5 bodů. Pokud by měl běžný uživatel bez fotografických zkušeností pořídit podobné fotografie, s velkou pravděpodobností se mu to nepodaří.

Vic Gundotra má tedy stoprocentní pravdu v tom, že běžné fotoaparáty jsou (nebo se v nejbližší době stanou) pro obyčejné uživatele zbytečností. Ba naopak, smartphony budou moci poskytovat ještě lepší výsledky díky možnostem strojového učení a umělé inteligence. A ačkoliv se to nemusí konzervativním fotografům líbit, důsledky budou jistě pozitivní – všichni budeme dělat lepší fotky.

Diskuze (30) Další článek: Vývojáři ze Sony a IBM vytvořili rekordní magnetickou pásku. Lze na ni uložit 330 TB dat

Témata článku: , , , , , , , , , , , , , , , , , , , , , , , , ,