Wan2.2Nyílt-forráskódú videó-generáló modellcsalád (5B/14B) a szöveg/szövegtől-vízión át, 1080p klipdel jobb mozgással és ellenőrzéssel.

A Wan2.2 egy nyílt forráskódú videó generáló modellek családja két változattal, 5B és 14B, amelyek text/image/video-to-video generációt támogatnak. 1080p minôségû klippek generálására képes, a mozgás és az irányítás javításával. A modellek Mixture-of-Experts (MoE) architektúrát alkalmaznak, érzékeny film-szintû estétikát és összetett mozgásgenerálást. A Wan2.2 architektúrája egy videó diffúzió modellre épül, ahol az MoE architektúra elkülöníti a zajtisztítás folyamatát időlépések szerint. Ezzel képes megtartani a számítási költséget, miközben növeli a modellek általános kapacitását. A Wan2.2 jelentősen nagyobb adatbázisra lett képezve, mint elődje, a Wan2.1, ezzel +65,6%-kal több képpel és +83,2%-kal több filmmel. Ezen kiegészítések erősítik a modell általánosítását több dimenzióban, többek között mozgásban, szemantikában és esztétikában. A modell támogatja a szövegből videot és képből videot generáló funkciókat 720p felbontással 24 kép/s sebességgel, és megfelelőnek bizonyulnak a fogyasztói minőségű grafikus kártyáknak, például a 4090-nek. Egyike a leggyorsabb 720p@24fps modellnek, amely jelenleg elérhető, és képes szolgáltatni mind a következetes, mind az akadémiai szektorokat egyidejűleg. A Wan2.2-t több kerethez is integrálták, például a Diffusershez, a ComfyUI-hez és a ModelScope-hoz, és számos alkalmazásban, mint például a karakteranimáció, -cseréje és audio-generált filmkocka-készítés. A Wan2.2 modellt egybevont szereplőanimációs modellt alkotott, amely komplex mozgás- és kifejezés-utánzást nyújt, továbbá hangvezérelt, filmmozgalmas videógenerálási modellt is, beleértve a következtetési kódot, a modell súlyokat és a technikai jelentést. A modelt még 5B modellt is létrehoztak vele, amelyet a Wan2.2-VAE-vel építettek ki, és 16:16:4 kompresszióval rendelkezik. Tud text-to-video és image-to-video generációt támogat 720P felbontásban 24fps-vel is. Az adatmodellt nyílt forráskódú licenc alatt tették közzé és népszerűvé vált, a GitHub-rendezvényén meghaladja a 50 hozzájárulás számát és nagyszámú közreműködő és felhasználó közössége van. A Wan2.2 egy erőteljes videó generációs modell, amely kimagasló teljesítményt és egyedi alkalmazhatóságot nyújt különféle feladatokra, beleértve a karakteranimációs, cserélési és hangvezérelt filmes videógeneráló feladatokat is. Architektúrájának és az elérhető adatgyűjtésben való edzésének köszönhetően segítőkezdeményező erőforrást biztosít a videógenerálás és feldolgozás területén dolgozó kutatók és fejlesztők számára. A modell különféle alkalmazási esetekre alkalmas, ideértve a karakter animációkat, cseréket és hangvezérelt filmkocka generálást is. Mint bármelyik machin learning model, a Wan2.2-nek is vannak korlátozásai. Például jelentős mennyiségű számítási erőforrást és képzési adata szükséges a teljesítményének eléréséhez, és nem minden típusú videógenerálási feladatnak megfelelhet. Továbbá, bár a Wan2.2-t több kerethez is integrálták, teljesítménye és sokoldalúsága attól függ, hogy milyen konkrét felhasználási esetre és alkalmazásra alkalmas a szerződésben megadott paraméterek alapján. Összességében a Wan2.2 egy nagyon hatékony és sokoldalú videógeneráló modell, amely kiváló teljesítményt nyújt számos alkalmazásban. Általános architektúrája és a tanulási adatállományában rejlő értéke miatt kiváló eszköz a kutatók és fejlesztők számára, akik a videógenerálás és feldolgozás terén tevékenykednek.