Nvidia už v minulosti ukázala, že pomocí softwaru a grafických karet zvládne vyčistit zvuk z mikrofonu tak, že zůstane jen hlas. Odstraní také pozadí za vaší hlavou, aniž byste museli použít zelené plátno a klíčování. To ale byl jen začátek. Firma včera na online konferenci GTC představila technologii Maxine sdružují kromě výše zmíněného i další užitečné funkce související se zvukem či obrazem.
Desetkrát účinnější komprese
Jednou z vychytávek je AI Video Compression nahrazující klasické video kodeky. AIVC slibuje, že oproti H.264 srazí velikost přenášených dat na desetinu toho, co vyžadují dnešní řešení.
Moderní komprese fungují tak, že se video rozdělí do skupin snímků, kde každá začíná jedním klíčovým snímkem nesoucím plné rozlišení a rozdílovými snímky, které obsahují pouze změněné pixely oproti klíčovému nebo sousednímu snímku.
AIVC jde ještě dál. Také se vytvoří jeden klíčový snímek, ale na něj navazují pouze informace o tom, jak se mění/pohybují jednotlivé části obličeje. Nepošlou se tedy celé pixely, ale jen body či vektory pohybu, z nichž pak mezisnímky rekonstruuje umělá inteligence. Zkrátka takový deep fake s vaším obličejem.
Prozatím to vypadá, že obě strany musí mít při hovoru GPU GeForce s Tensor jádry a mezi nimi musí stát ještě server Nvidie, takže je otázkou, nakonec se tato technologie skutečně rozšíří. Každopádně ukazuje, jak i s kompromisní kvalitou připojení na úrovni 2G/EDGE apod. přenášet videhovory.
Nvidia vám otočí obličej
Maxine umí i další triky. Nvidia ukázala šikovný upscaling, který video v rozlišení 360p převede na čtyřikrát vyšší 720p s viditelně ostřejším obrazem bez artefaktů. Pomocí funkce auto frame se zase průběžně ořezává a posouvá obraz z kamery tak, aby obličej byl stále ve středu.
Conversational AI avatar místo vaše obličeje rozpohybuje obličej nějaký postavičky, jako to dělají animoji od Applu. Nvidia k tomu přitom nepotřebuje 3D kameru, stačí ta obyčejná. Od Applu je také druhá inspirace. FaceTime v iOS 13 umí v obraze upravit oči tak, jako byste se dívali přímo do kamery, i když fakticky sledujete displej. Nvidia ukázala funkci face alignment, která neupraví jen oči, ale otočí celou hlavu.
