Wan2.2Open-source rodina modelů generace videa (5B/14B) pro text/obraz/video-na-video, dodávající klipy 1080p s vylepšeným pohybem a kontrolou.

Wan2.2 je rodina open-source modelů pro generování videa se dvěma variantami, 5B a 14B, které podporují generování videa z textu, obrazu nebo videa. Dokáže dodávat 1080p klipy se zlepšeným pohybem a ovládáním. Model zahrnuje architekturu Mixture-of-Experts (MoE), estetiku na kinematografické úrovni a komplexní generování pohybu. Architektura Wan2.2 je založena na modelu video difuze, přičemž architektura MoE odděluje proces odšumění napříč časovými kroky. To umožňuje udržet stejné výpočetní náklady při zvýšení celkové kapacity modelu. Wan2.2 byl vycvičen na výrazně větším souboru dat než jeho předchůdce Wan2.1, a to o 65,6 % více obrázků a o 83,2 % více videí. Toto rozšíření zvyšuje schopnost modelu zobecňovat napříč více dimenzemi, včetně pohybů, sémantiky a estetiky. Model podporuje generování textu na video a obrazu na video v rozlišení 720p se 24 snímky za sekundu a lze jej spustit na grafických kartách pro spotřebitele, jako je 4090. Je jedním z nejrychlejších modelů 720p@24fps aktuálně dostupných, schopných sloužit jak průmyslovému, tak akademickému sektoru současně. Wan2.2 byl integrován do několika rámců, včetně Diffusers, ComfyUI a ModelScope, a byl použit pro různé aplikace, jako je animace postav, nahrazování a audio-řízená generace kinematografických videí. Wan2.2 byl také použit k vytvoření jednotného modelu pro animaci postav a nahrazení s holistickou replikací pohybu a výrazu a modelu pro generování audio-řízených kinematografických videí, včetně inference kódu, vah modelu a technické zprávy. Model byl také použit k vytvoření 5B modelu postaveného s Wan2.2-VAE, který dosahuje kompresního poměru 16:16:4, podporuje generování text-to-video i image-to-video v rozlišení 720p při 24 snímcích za sekundu. Model byl vydán pod licencí s otevřeným zdrojovým kódem a získal si popularitu s více než 50 příspěvky ve svém úložišti GitHub a velkou komunitou přispěvatelů a uživatelů. Wan2.2 je výkonný model pro generování videa, který poskytuje špičkový výkon a všestrannost pro různé aplikace, včetně animace postav, nahrazení a audio-řízeného generování kinematografického videa. Jeho architektura a trénovací datová sada z něj činí cenný zdroj pro výzkumníky a vývojáře pracující v oblasti generování a zpracování videa. Model je vhodný pro různé aplikace, včetně animace postav, nahrazení a generování audiově řízeného kinematografického videa. Stejně jako jakýkoli model strojového učení má však Wan2.2 určitá omezení. Například vyžaduje značné množství výpočetních zdrojů a trénovacích dat, aby dosáhl svého výkonu, a nemusí být vhodný pro všechny typy úkolů generování videa. Kromě toho, ačkoli byl Wan2.2 integrován do několika rámců, jeho výkon a všestrannost se mohou lišit v závislosti na konkrétním případu použití a aplikaci. Obecně je Wan2.2 výkonný a všestranný model pro generování videa, který poskytuje špičkové výkony pro různé aplikace. Jeho architektura a trénovací dataset z něj činí cenný zdroj pro výzkumníky a vývojáře pracující v oblasti generování a zpracování videa.