Vadí vám, že na fotkách na mobilu není nic vidět? Nelíbí se vám deformovaný obraz širokoúhlé televize? Možná se to změní.
V dnešní době se běžně setkáváme s obrovským množstvím nejrůznějších zobrazovacích zařízení – počínaje velkými plazmovými či LCD panely přes o něco menší displeje stolních počítačů, displeje notebooků a ultramobilních PC až k miniaturním displejům mobilních telefonů či multimediálních přehrávačů. A všechna tato zařízení umožňují prohlížení obrázků. Jenže na každém z nich má obrázek jiné rozlišení a každé zařízení má jiné rozměry.
Při prohlížení na různě velkých displejích je nutné obrázky přizpůsobit zobrazovacímu zařízení. První, co vás nejspíš napadne, je obyčejné převzorkování. Jenže při něm se ztrácí velké množství detailů. Další možností je oříznutí obrázku. Ale to nejde dost dobře udělat, pokud jsou po jeho okrajích nějaké důležité prvky. Velmi ošemetné je to i v případě, že potřebujete změnit velikost obrázku pouze v jednom směru.
Jak to tedy udělat lépe? Internetem teď koluje jedno velmi zajímavé video z letošní konference Siggraph. Na něm představil Shai Avidan z Mistubishi Electric Research Labs a Ariel Shamir z The Interdisciplinary Center & MERL metodu nazvanou Seam Carving for Content-Aware Image Resizing, což by se dalo opsat jako změna velikosti na základě znalosti obsahu obrázku odstraněním méně důležitých částí. A dá se využít nejen ke zmenšování, ale i k inteligentnějšímu zvětšování obrázků, změně proporcí obrázku a dokonce k odstraňování konkrétních objektů.
Oč je tato metoda lepší, je zřejmé hned z následujících dvou obrázků – na původní obrázek vlevo jsou aplikované všechny tři metody zh– zmenšení (Scaled), oříznutí (Cropped) a výše uvedená metoda, někdy také nazývaná jako retargetting:
či srovnání změny proporcí obrázku - zleva doprava je to retargetting, převzorkování a oříznutí.
Celé kouzlo spočívá v tom, že v prvním případě na obrázku zůstaly zachované důležité prvky – tedy medvědice a mláďata, v původní velikosti, a zmenšil se jen prostor, který zabírala zbytečnější tráva, ve druhém pak ubyl kousek lesa a pláže, trocha skály a kus jednolitého moře a oblohy.
Tato metoda by byla k ničemu, kdyby nemohla probíhat automaticky. Účelem je odstranit prvky, kterých si nevšimnete a které splývají se svým okolím. Pro každý obrázek se vypočítá jakási energie, kterou jednotlivé pixely mají. Pixely s nejvyšší energií poté zůstávají nezměněny nejdéle, pixely s nejnižší energií naopak zmizí nejdřív. Pro výpočty se využívají rozličné metody analýzy obrazu, založené například na metodách pracujících s výpočty gradientů a detekce hran.
U každého obrázku se po analýze vypočítají tzv. seams – v překladu něco jako spáry či švy – v horizontálním i vertikálním směru. Ty kličkují napříč obrázkem a spojují místa s podobnou úrovní energie. Změny, které se na obrázku odehrávají, probíhají právě v okolí těchto švů. Jelikož je těchto švů více, je možné postupným odebíráním od těch nejméně důležitých až po ty nejdůležitější měnit rozměry a vzhled obrázku i dynamicky v závislosti na jeho aktuální velikosti.
Proč ale takhle zvětšovat? Třeba kvůli televizi
Pokud obrázek zvětšujete, dopočítávají se jednotlivé pixely rozšiřováním prostoru právě v okolí švů. Zvětšování obrázku přidáváním redundantních pixelů možná může vypadat jako něco, co je proti celé logice věci, ale najdete určitě celou řadu případů, kdy to smysl má. Velký význam to může mít třeba pro majitele širokoúhlých televizorů, u nichž jde o určitě mnohem přijatelnější způsob, jakým roztáhnout obraz v poměru 4:3 po celé ploše obrazovky – vypadá to určitě lépe, než různé kombinace ořezu a deformace obrazu, které se používají (i když pravděpodobnost, že někdo něco podobného „zadrátuje“ do televizoru pro přepočet v reálném čase je s ohledem na velkou náročnost výpočtů mizivá, záznam se ale dá připravit předem).
V případě, že chcete měnit pouze poměr stran obrázku, probíhá zmenšování či zvětšování pouze na horizontálních nebo vertikálních švech. Důležité je, že díky švům zůstávají zachovány proporce klíčových objektů a mění se jen pozadí to je dobře vidět na rozdílu mezi obrázkem e a f:
Na následujících obrázcích je vidět příklad rozšiřování i zužování v jednom směru:
Stopy po odstranění švů je zapotřebí zahladit odstraněním vzniklého zlomu vyhlazením hrany podle okolí švu.
Do „energetického pole“ obrázku se dá zasahovat i ručně – jednotlivým objektům lze přiřadit větší či menší energie, a také je možné využívat nejrůznějších algoritmů, které do vypočteného pole zasáhnou automaticky. Dá se tím jednoduše z obrázku odstranit libovolný objekt, nebo určit pořadí, v jakém mají objekty při zmenšování mizet.
Příkladem pro automatický zásah do energetického pole je třeba v digitální fotografii používaná automatická detekce obličeje. Pokud algoritmus detekuje obličej, přiřadí příslušným pixelům větší energii a obličej zůstane při změně rozměrů zachován – to je pěkně vidět na videu, na kterém autoři vše prezentují naživo.
Tuto metodu lze samozřejmě pro dosažení lepších výsledků kombinovat i se stávajícím ořezáváním či zvětšováním. Můžeme tak třeba na obrázku zvětšit důležité objekty.
Pokud vás výše uvedená práce nadchla podobně, jako řadu lidí, kteří již viděli video z YouTube, vězte, že ani tato metoda není všemocná a najde se celá řada situací, při kterých selhává.
Všechno má svá ale...
Příkladem jsou třeba obrázky, na kterých toho není v okolí moc zbytečného – jako je třeba fotografie modrého automobilu, nebo takové obrázky, u kterých není možné natáhnout jednoduše švy tak, aniž by nedošlo k protnutí důležitých prvků a jejich následné deformaci – zde je logicky lepší použít stávající metody převzorkování.
Úplně ideální není ani princip této metody – zatímco při převzorkování či ořezu zůstává zachycený děj v původních proporcích, v tomto případě dojde k zásadním zásahům do původní fotografie. Jenže to při prohlížení obrázků málokdy vadí – schválně se zadívejte, jestli byste z obrázku vítězného oblouku vytušili, že je něco jinak, než v reálu.
Zbývá ještě zmiňované video, které opravdu stojí za zhlédnutí.
O něco rozsáhlejší popis toho, jak vše funguje najdete v originálním desetistránkovém anglickém dokumentu ve formátu pdf (necelých 21 MB). Na stránkách Ariela Shamira je i ke stažení originální video ve formátu mov, které má mít lepší kvalitu než video z Youtube, bohužel je nejspíš z důvodu velkého zájmu rychlost stahování z těchto stránek na bodu mrazu.
