Wan2.2Otvoreni video generacijski modelski rod (5B/14B) za tekst/obrazac/video-ka-video, koji pruža 1080p dijelove s poboljšanim gibanjem i kontrolom.

Wan2.2 je otvoreni izvorni model družine za generiranje videa s dvjema varijantama, 5B i 14B, koji podržava tekst/slika/video-u-videu generiranje. Možda generira 1080p klipove s unaprijeđenom gibanjem i kontrolom. Model koji sadrži Mixture-of-Experts (MoE) arhitekturu, filmskom razini estetičku vrijednost i složišu gibanje generiranja. Arhitektura Wan2.2-a temelji se na modelu difuzije video sadržaja, s MoE arhitekturom koja odvaja proces brižanja šumova kroz korake vremena. To omogućava održanje istih računalnih troškonti, povećavajući učinak cjelokupnog modela kapaciteta. Wan2.2 je trening je proveo na znatno većem podstupu podataka od svog prethodnika Wan2.1, s +65,6% više slika i +83,2% više videa. Taj se uvid poboljšao modela na općenitoću kroz više dimenzija, uključujući pokrete, semantičke značajke i estetske karakteristike. Model podržava generaciju teksta u video i slike u video formatu s rezolucijom 720P na 24fps, te može raditi na grafičkim karticama potrošačkog stupnja kao što je 4090. Jedan je od najbržih modela 720P@24fps trenutno dostupnih, sposoban služiti i industrijskom i akademskom sektoru istodobno. Wan2.2 je integriran u nekoliko okvirnih sustava, uključujući Diffusers, ComfyUI i ModelScope, i koristio se za različite aplikacije, kao što su likovno animiranje, zamenjivanje i generacija kinematografskog videa nadglasanih zvukom. Wan2.2 je također korišten za stvaranje jedinstvenog modela za animaciju i zamjenu likova s holističkim pokretanjem i replicacijom izražaja te model za generiranje audio-povezanih kinetičkih videa, uključujući kod za infereciju, težine modela i tehničko izvješće. Model je također korišten za stvaranje 5-B modela izgrađenog sa Wan2.2-VAE koji postiže omjer komprimacije 16 16 4, podržava tekst prema video i slika prema video generaciju pri rezoluciji 720P s 24fps. Model je objavljen pod otvorenim izvorom licenicom, a postao je popularan, s više od 50 komita na njegovom GitHub računalu i velikim komunitetom sarađivača i korisnika. Wan2.2 je visokoefikasna model za generiranje videa koji pruža vrhunske rezultate u performansama i fleksibilnosti za različite primjene, uključujući animaciju likova, zamjenu i animaciju filmskog videa u režiji glasa. Njezina arhitektura i bazni skup podataka čine je vrijednim resursom za istraživače i razvojne timove koji rade u području generiranja i obrade videa. Model je pogodan za različite aplikacije, uključujući animaciju likova, zamjenu i generaciju audio-vođenih cjelovečernjih videa. Međutim, kao било koji model učenja automatike, Wan2.2 ima neka ograničenja. Na primjer, za osvajanje svoje izvedbe, zahtijeva značajno količinu računalnih resursa i podataka za trening, te nije moguće ga upotrijebiti za sva vrsta zadaća generacije videa. Dodatak: Dok je Wan2.2 integriran u nekoliko okvira, njegova učinkovitost i razuzdanost mogu varirati ovisno o konkretnom slučaju upotrebe i aplikaciji. U cjelini, Wan2.2 je snažan i fleksibilan model generacije videa koji pruža vrhunske rezultate za različite aplikacije. Svojim arhitekturom i skupom za obuku čini vrijednu resurs za istraživače i razvjačke stručnjake koji rade u području generacije i obrade videa.