Od Adobe Flash a animovaných elektronických pohlednic JibJab jsme ušli dlouhou cestu.
Uplynuly dvě dekády a lidé s počítačem a trochou volného času mohou vytvářet vysoce kvalitní animace (skutečných lidí i ilustrací) pomocí několika kliknutí a nulových znalostí digitálních úprav.
Takový je alespoň slogan „Animate Anyone“, modelu umělé inteligence, který představil výzkumný tým umělé inteligence čínské nadnárodní technologické společnosti Alibaba, specializující se na technologie elektronického obchodování a maloobchodu. A video s jeho technologií při práci – tvrdí, že dokáže oživit jakoukoli fotografii s pozoruhodnou důsledností a kontrolou – zaujalo miliony lidí.
Alibaba tvrdí, že Animate Anyone dokáže přeměnit fotografie na videa „řízená požadovanými sekvencemi póz a dosažením časové návaznosti“, vysvětlil na Twitteru startup MyCompanions s avatary s umělou inteligencí. „Méně závad a žádné prsty navíc – paráda!“
Tým dodává, že tato technologie otevírá dveře novým případům využití mezi influencery:
: oblečení generované umělou inteligencí a vytvoření trhu pro masově vyráběná, ale personalizovaná videa.
Krátká videa z jediné fotografie? Brzy to budeme umět pro všechny naše influencery!
Na základě nejnovějšího špičkového výzkumu skupiny Alibaba je to téměř tady. Proč je tato technologie důležitá? Jak mohou influenceři tuto technologii nejlépe využít?
Vlákno níže pic.twitter.com/C4QCJCeEXP
– MyCompanions (@MyCompanionsAI) December 3, 2023
Stránka modelu na GitHubu byla zaplavena žádostmi o přístup ke zdrojovému kódu. V reakci na ně tým ujistil veřejnost, že demo a kód zpřístupní v zatím neupřesněném termínu.
„Děkujeme všem za neuvěřitelnou podporu a zájem o náš projekt,“ uvedl tým na poslední aktualizaci Githubu. „Chceme vás ujistit, že aktivně pracujeme na přípravě dema a kódu pro veřejné zveřejnění.“
Prohlášení získalo za necelý den více než 240 lajků.
Pokud je videoukázka přesná, lze Animate Anyone použít k vytvoření jasných, časově stabilních výsledků videa při zachování vzhledu referenční postavy. Zdá se, že je to výsledek integrace difuzních modelů do nového rámce nazvaného ReferenceNet, který dokáže sloučit detailní rysy prostřednictvím prostorové pozornosti.
Za tímto účelem vezme referenční obraz, posune jeho části tak, aby sledovaly požadovanou pózu, a poté vyplní mezery, které je třeba vyplnit, aby vznikla iluze konzistentního pohybu pro každý snímek generovaného videa. Výsledkem takzvané openpose sekvence je téměř bezchybná animace.
Animate Anyone také sklízí příznivá srovnání s dalšími populárními animačními nástroji, jako jsou AnimateDiff, Warpfusion, Deforum a ebSynth. Tyto stávající nástroje často nedokážou generovat konzistentní snímky, takže je snadné identifikovat videa jako vytvořená umělou inteligencí. Naproti tomu Animate Anyone se vyznačuje propracovanějším výstupem, kde jsou snímky konzistentní a animace je téměř nerozeznatelná od reality.
Tým Animate Anyone neodpověděl na žádost TCN o komentář.
Uprostřed šílenství se však jako solidní konkurent objevil také podobný model s názvem MagicAnimate. MagicAnimate, který byl nedávno zpřístupněn k místnímu testování, přistupuje k procesu animace trochu jinak. I když není tak populární, jeho vydání nabízí alternativu pro ty, kteří chtějí prozkoumat oblast animace řízené umělou inteligencí podrobněji.
MagicAnimate: Časově konzistentní animace lidského obrazu pomocí difuzního modelu s @Gradio demo.
Místní demo: https://t.co/ScsEU6oG64
Tento článek studuje úlohu animace lidského obrazu, jejímž cílem je generovat video určité referenční identity po určitém pohybu… pic.twitter.com/JCOr0yCRZs
– AK (@_akhaliq) December 4, 2023
Na rozdíl od Animate Anyone – který také používá difuzní model, ale se zaměřením na snímkově konzistentní a ovladatelnou animaci z obrázků – je odlišností aplikace MagicAnimate zvýšení časové konzistence a zachování identity. Jeho jedinečný kodér vzhledu a technika fúze videa údajně vedou k plynulejším přechodům v dlouhých animacích videa a lepšímu zachování detailů napříč snímky.
MagicAnimate sice vyniká v časové návaznosti a kvalitě jednotlivých snímků, nezdá se však, že by byl tak přesný jako jeho konkurent.
Bývalý výzkumný pracovník společnosti Meta AI Alex Carliera měl možnost MaticAnimate otestovat, a přestože jej označil za „skvělý první krok pro konzistentní generování videa z jediného snímku“, poznamenal, že generování nebylo oproti referenčnímu snímku stoprocentně přesné a v některých snímcích deformovalo tělo.
Testoval jsem ControlNet pro video (MagicAnimate) a zde je můj názor: funguje skvěle, ale má některé nedostatky.
– Identita pohybového videa uniká do výsledného videa (a deformuje tvar těla).
– špatné ruce a obličej (nepřekvapivě!).Ale skvělý první krok pro konzistentní… https://t.co/zY9tZZ6MaK pic.twitter.com/J9XELE5NGT
– Alex Carlier (@alexcarliera) December 4, 2023
Takže pokud neumíte tančit a cítíte se vynecháni z nejnovější choreografie TikToku, možná mohou být Animate Anyone a MagicAnimate vaší vstupenkou k virálnímu úspěchu.
