Wan2.2Open-source model rodiny generovania videa (5B/14B) pre text(obrázok/vedio)-na-vedio, dodávajúca 1080p klipy s vylepšeným pohybom a kontrolou.

Wan2.2 je rodina open-source modelov na generovanie videa s dvomi variantmi, 5B a 14B, podporujúca generovanie video-to-video z textu/obrazu/videa. Dokáže dodať 1080p klipy s vylepšeným pohybom a ovládaním. Model využíva architektúru Mixture-of-Experts (MoE), estetiku na kinematografickej úrovni a komplexné generovanie pohybu. Architektúra Wan2.2 je založená na modeli difúzie videa, pričom architektúra MoE oddeľuje proces odšumovania naprieč časovými krokmi. To umožňuje udržať rovnaké výpočtové náklady, zatiaľ čo sa zvyšuje celková kapacita modelu. Wan2.2 bol vycvičený na výrazne väčšom súbore údajov ako jeho predchodca Wan2.1, a to o +65,6 % viac obrázkov a +83,2 % viac videí. Táto expanzia zvyšuje schopnosť modelu zovšeobecňovať naprieč viacerými dimenziami, vrátane pohybov, sémantiky a estetiky. Model podporuje generovanie textu do videa a obrazu do videa v rozlíšení 720p so 24 snímkami za sekundu a môže bežať na grafických kartách spotrebiteľskej úrovne, ako je 4090. Je to jeden z najrýchlejších modelov 720p@24fps, ktorý je aktuálne k dispozícii a dokáže obsluhovať súčasne priemyselné aj akademické sektory. Wan2.2 bol integrovaný do niekoľkých rámcov, vrátane Diffusers, ComfyUI a ModelScope, a bol použitý pre rôzne aplikácie, ako je animácia postáv, nahradenie a audio-riadená tvorba kinematografického videa. Wan2.2 bol tiež použitý na vytvorenie jednotného modelu pre animáciu postáv a nahradenie s holistickou replikáciou pohybu a výrazu, ako aj modelu generovania kinematografického videa poháňaného zvukom, vrátane kódu inferencie, váh modelu a technickej správy. Model bol tiež použitý na vytvorenie 5B modelu postaveného s Wan2.2-VAE, ktorý dosahuje kompresný pomer 16:16:4, podporujúci generovanie textu do videa aj obrazu do videa v rozlíšení 720P so 24 snímkami za sekundu. Model bol vydaný pod otvorenou licenciou a získal popularitu s viac ako 50 commitmi na svojom úložisku GitHub a veľkou komunitou prispievateľov a používateľov. Wan2.2 je výkonný model generovania videa, ktorý poskytuje najmodernejší výkon a všestrannosť pre rôzne aplikácie, vrátane animácie postáv, nahradenia a zvukom riadeného generovania kinematografického videa. Jeho architektúra a tréningové dáta sú cenným zdrojom pre výskumníkov a vývojárov pracujúcich v oblasti generovania a spracovania videa. Model je vhodný pre rôzne aplikácie, vrátane animácie postáv, náhrady a zvukom riadeného generovania kinematografického videa. Ako každý model strojového učenia má však Wan2.2 určité obmedzenia. Napríklad vyžaduje značné množstvo výpočtových zdrojov a tréningových údajov na dosiahnutie svojho výkonu a nemusí byť vhodný pre všetky typy úloh generovania videa. Okrem toho, hoci bol Wan2.2 integrovaný do niekoľkých rámcov, jeho výkon a všestrannosť sa môžu líšiť v závislosti na konkrétnom prípade použitia a aplikácii. Celkovo je Wan2.2 výkonný a všestranný model generovania videa, ktorý poskytuje najmodernejšie výkony pre rôzne aplikácie. Jeho architektúra a tréningové dáta sú cenným zdrojom pre výskumníkov a vývojárov pracujúcich v oblasti generovania a spracovania videa.