Simulace výrazů našeho obličeje ve virtuální realitě

S příchodem brýlí pro virtuální realitu nastává otázka, jak snímat výrazy našeho obličeje tak, aby je bylo možné zobrazit i v simulovaném světě. Lze to vyřešit poměrně jednoduše.

Na konci tohoto roku (HTC/Valve Vive VR), respektive začátkem roku 2016 (Oculus Rift CV1) se dočkáme příchodu prvních systémů pro virtuální realitu. V základním balení budou nejen velké brýle, které zakryjí značnou část obličeje, ale také sluchátka a systém snímání polohy hlavy a celého těla v prostoru i přesně natočení a úhly.

V případě her, kde budete coby živý člověk figurovat jen vy, je to dostatečné. Co ale při „multiplayeru“? Přímo se nabízí nutnost převedení výrazů našeho obličeje do virtuální postavy. Jak to ale udělat, když je většina tváře zakrytá?

Inženýři z univerzity v Jižní Kalifornii ve spolupráci s inženýry přímo z Facebooku, kteří se podílí i na vývoji Oculus Rift, ale představili řešení, které by mohlo být použitelné.

Snímání obličeje ve dvou úrovních

Jak už jsme zmínili, velká část obličeje  při nasazených brýlí pro virtuální realitu je zakrytá, takže ji nelze snímat pomocí kamery. To ale neplatí o dolní polovině, kde máme vidět ústa, bradu i tváře. Horní část hlavy včetně čela je ale zakrytá.

Klepněte pro větší obrázek
Problém snímání obličeje - horní polovina je zakrytá

Tým ale vyvinul systém, který zahrnuje kombinaci snímání pnutí v rámci okraje brýlí, který přímo přiléhá na obličej a externí RGB kamery, jež se soustředí na rozpoznávání spodní viditelné části obličeje.

Klepněte pro větší obrázek
Stačí umístit senzory přímo do pásu, který se dotýká obličeje

Na samotném okraji se tak nachází osm malých a velmi tenkých ohebných pásků z elektronického materiálů, který zachycuje roztažnost a změnu tlaku. Současná verze zahrnuje pevné přichycenou externí kameru, která je zaměřená na spodní část obličeje pod stále stejným úhlem. Díky tomu je snímání a rozpoznávání této části velmi přesné a relativně jednoduché na zpracování.

Rozpoznávání se zatím musí naučit

Vzhledem k tomu, že každá tvář je jiná a horní část rozpoznávání probíhá pouze pomocí jednoduchých senzorů, je nutné systém nejdříve naučit pohyb a rozložení našeho obličeje při konkrétních výrazech.

Klepněte pro větší obrázek
Různé typy výrazů jsou nasnímané a převedené do virtuálního obličeje

Výzkum to jednoduše vyřešil odklopením celé přední části brýlí s displejem, přičemž na tváři zůstal jak okraj se senzory, tak i kamera, která tentokrát viděla celý obličej. Díky tomu bylo možné pro každý výraz vytvořit virtuální verzi, která byla uložena spolu s natrénovanými hodnotami ze všech senzorů.

Klepněte pro větší obrázekKlepněte pro větší obrázek
Ukázka trénování a snímání dat ze senzorů

Tak bylo možné vytvořit personalizovaný profil výrazů pro každou osobu zvlášť. Výhodou je, že tento systém je schopný rozpoznat i menší výrazy, jako například pohyb čela, mrknutí oka, mračení a podobně. Všechny tyto typy výrazů totiž znamenají i pohyb v okrajích brýlí či spodní části obličeje.

Trojrozměrný avatár obličeje a dalších částí těla

Současný systém vyžaduje krátkou kalibraci a má zatím i menší problémy, které nastávají při nedostatečném dotyku senzorů na obličeji či změny teploty. Nutnost kalibrace by ale mohla být odstraněna pomocí dostatečné databáze dat ze senzorů různých a předem natrénovaných obličejů. Nejsou to tedy neřešitelné problémy, jde i o lepší ergonomii a třeba jiné rozložení senzorů. Celý výzkum byl postaven na starší vývojářské verzi Oculus Rift DK2.

Klepněte pro větší obrázek
Snímat lze rozmanité výrazy, které lidský obličej zvládne

Neefektivní je jistě i použití kamery, která výrazně zvyšuje hmotnost a částečně komplikuje pohyb. Jedná se ale o prototyp, takže případné finální řešení v koncovém zařízením může používat běžnou kameru postavenou před vámi nebo miniaturní senzory na spodní straně brýlí. Sice by to znamenalo snímání spodní části obličeje pod velmi ostrým úhlem, ale pokud s tím bude systém počítat, pro detekci a zpřesnění výrazu to bude dostačovat.

Klepněte pro větší obrázek

Jak je vidět, ve virtuální realitě budeme moci mít i simulovanou reprezentaci obličeje v reálném čase, což je důležité pro mezilidskou komunikaci. Facebook koupil Oculus VR právě pro budoucnost své platformy, která je postavená na komunikaci lidí mezi sebou. Ve virtuálních světech je tak do budoucna nutné přenášet i tyto vlastnosti našeho těla.

TIP: Virtuální realita místo teleportace. Přivítejte Matrix

Obličej je ale samozřejmě pouze jedna část našeho těla a další jistě budou následovat. Již nyní jsou k dispozici různé prototypy rukavic, které snímají pohyb prstů a rukou v prostoru, pomocí kamer nebo využití dalších senzorů je možné si představit snadné sledování i dalších částí našeho těla jako jsou nohy a podobně.

Psali jsme o technologii Valve Lighthouse, která pomocí dvojice vysílačů je schopná snímat takřka libovolný počet malých a levných senzorů s vysokou přesností a extrémně nízkou odezvou. Lze si tak představit, že pro snímání celého těla nebudou potřeba žádné drahé kamerové systémy.

Vše zajistí větší počet senzorů rozmístěných po našem těle, které budou třeba ukryté v různých flexibilních páscích. Zpočátku propojené dráty, později určitě bezdrátově.

Oficiální publikaci k výzkumu naleznete na stránkách Hao-li.com

Video

Diskuze (5) Další článek: Zprávy Živě: Rusko chce vlastní mobilní systém

Témata článku: Technologie, Virtuální realita, Simulace, Teleportace, Postavená kamera, Současná verze, Brýle pro virtuální realitu, Pohyb prstů, Světec, Rozpoznávání, Virtuální realita HTC vive, Virtuální, Živý člověk, VR brýle pro virtuální realitu, Valve, Horní polovina, SIGGRAPH, Facial, Snímání, Virtuální realita brýle, Lidský obličej, Obličej, Konečná verze, Realita, Snadné sledování


Určitě si přečtěte

Porno insider: Jak virtuální realita vstupuje do filmů pro dospělé

Porno insider: Jak virtuální realita vstupuje do filmů pro dospělé

** Pornografie údajně představuje třetinu internetové obsahu a je technologický tahounem ** Do erotického obsahu postupně zasahuje i virtuální realita ** Kromě vizuálního vjemu se pracuje také na virtuálním uspokojení toho hmatového

Jan Dudek | 28

Šmírování kamerami Googlu: Koukněte se, co zachytily na Street View

Šmírování kamerami Googlu: Koukněte se, co zachytily na Street View

Google stále fotí celý svět do své služby Street View. A novodobou zábavou je hledat v mapách Googlu vtipné záběry. Podívejte se na výběr nejlepších!

redakce | 44

Mobil letí z výšky na zem a nic se mu nestane! Podívejte se, jak ho ochrání unikátní aktivní pouzdro

Mobil letí z výšky na zem a nic se mu nestane! Podívejte se, jak ho ochrání unikátní aktivní pouzdro

** Toto pouzdro zaručeně ochrání mobil při pádu ** Německý inženýr na něm pracoval 4 roky ** V letu vytáhne pružnou ochrannou konstrukci

Karel Kilián | 26

Apple: naše mapy budou nejlepší na světě. Tajně jsme na nich pracovali několik let

Apple: naše mapy budou nejlepší na světě. Tajně jsme na nich pracovali několik let

** Apple odhalil své plány na zcela nové mapy ** Několik let pracuje na nových mapách, které by měly předběhnout konkurenci ** Objeví se s příchodem iOS 12 pro vybrané státy

Karel Javůrek | 50

Jak a proč používat alternativní DNS: Zrychlí internet a odblokuje weby

Jak a proč používat alternativní DNS: Zrychlí internet a odblokuje weby

** Alternativní DNS servery mohou zpříjemnit surfování na internetu ** Existuje několik ověřených alternativ, nejen známé DNS od Googlu ** Alternativní DNS však mají i své nevýhody, pozor na ně

Petr Březina | 31


Aktuální číslo časopisu Computer

Jak mobily určují svoji polohu?

Velký test notebooků pro studenty

Nejlepší reproduktory na párty

Služby a aplikace pro výuku angličtiny