OpenAI Sora před pár měsíci nalákala na impozantní videoukázky vygenerované pomocí AI, několik málo tvůrců si ji vyzkoušelo, ale zatím jde o velmi uzavřený projekt, ke kterému se nedostanou ani platící uživatelé ChatGPT.
Minulý týden jsme psali o službě Dream Machine od Luma AI, která umí generovat videa z textových zadání také a je veřejně přístupná (a tak přetížená).
Nyní se o slovo hlásí nová už třetí generace generování videa od RunwayML. Už z názvu Gen-3 Alpha je patrné, že nejde o jejich první pokus o generování videa. Ostatně RunwayML má za sebou už několik soutěží pro AI videa vytvořených pomocí jeho nástrojů.
Rozdíly mezi Gen-2 a Gen-3 ale působí výrazně. Zatímco Gen-2 víceméně dokázala rozhýbat 2D scénu, Gen-3 generuje novou scénu od nuly textovým zadáním.
Z ukázek je patrný rukopis RunwayML. Videa se u něj tvoří z 2D grafiky tak, že funkcí Motion brush označíte jednotlivé oblasti, řeknete, kterým směrem se mají pohybovat a pak ještě nastavíte pohyb kamery. Do stran, přibližování či oddalování. V rámci Gen-3 tak zůstávají pohyby kamery stejné jak dřív, ale scéna je výrazně lepší.
Prompt: Subtle reflections of a woman on the window of a train moving at hyper-speed in a Japanese city. Ač se tímto RunwayML chlubí, nejde o odraz ženy v okně, ale ženu dívající se z okna.
Nová Gen-3 Alpha dokáže generovat věrně vypadající postavy, scény a umí i stylizované ukázky ve stylu Anime. Délka všech zveřejněných ukázek je vždy 10 sekund. Očekáváme tedy, že maximální délkou bude právě tato hodnota. Vygenerování 10 sekund videa bude na cloudové infrastruktuře Runway trvat zhruba 90 sekund.
Podle ukázek bych řekl, že je Runway Gen-3 lepší jak Luma AI, ale na OpenAI Sora ještě něco ztrácí. Jsme ale zatím na začátku a jak z vývoje v AI nástrojích víme, koncem letošního roku může být vše jinak.
Podobná generovaná AI videa ale ještě nebudou stačit na generování filmů. Nedokáží totiž dlouhodobě udržet podobu postav a scény. Runway ale dle svých slov pracuje s profesionálními tvůrci na variantách Gen-3 modelu se stylisticky řízenými postavami s konzistentním vzhledem. Tedy s herci, které jako režisér budete řídit textovými povely.
Stávající modely se ale budou hodit už dnes pro vykrývací záběry, kdy si třeba nemusíte zaplatit let vrtulníkem, abyste měli záběr města z ptačí perspektivy. Stačí si ho vygenerovat. Pomohou i při vizualizaci před natáčením, kdy si podobnými dočasnými generovanými klipy lépe naplánujete požadované záběry.
Gen-3 by se měla zpřístupnit placeným uživatelům Runway během následujících dní. Jistě tedy internet brzy zaplaví mnoho různých ukázek, které lépe naznačí směr pro video generované pomocí AI.