Wan2.2Atvērtā koda video ģenerēšanas modeļu ģimene (5B/14B) tekstam/attēlam/video-uz-video, nodrošina 1080p klipus ar uzlabotu kustību un kontroli.

Wan2.2 ir atvērtā koda video ģenerēšanas modeļu ģimene ar diviem variantiem – 5B un 14B – kas atbalsta tekstu/attēlu/video-uz-video ģenerēšanu. Tā spēj radīt 1080p klipus ar uzlabotu kustību un kontroli. Modelis ietver Mixture-of-Experts (MoE) arhitektūru, kinematogrāfisks līmeņa estētiku un kompleksu kustību ģenerēšanu. Wan2.2 arhitektūra balstīta uz video difūzijas modeli, kur MoE arhitektūra sadala notīrīšanas procesu pa laika posmiem. Tas ļauj saglabāt tādu pašu skaitļošanas izmaksu, vienlaikus palielinot kopējo modeļa kapacitāti. Wan2.2 ir apmācīts uz būtiski lielāka datu kopuma nekā tā priekštecis Wan2.1 – +65,6 % vairāk attēlu un +83,2 % vairāk video. Šī paplašināšana uzlabo modeļa vispārējo spēju visdažādākajās dimensijās, tostarp kustībās, semantiskajā izpratnē un estētikā. Modelis atbalsta tekstu‑uz‑video un attēla‑uz‑video ģenerēšanu 720p izšķirtspējā ar 24 fps, un tas var darboties uz patērētāja klases grafiskajām kartēm, piemēram, 4090. Tas ir viens no ātrākajiem 720p@24 fps modeļiem, kas pašlaik pieejami, spējot apkalpot gan rūpniecības, gan akadēmiskā sektora vajadzības vienlaikus. Wan2.2 ir integrēts vairākos ietvaros, tostarp Diffusers, ComfyUI un ModelScope, un ir izmantots dažādās lietojumprogrammās, piemēram, tēlu animācijā, aizvietošanā un audio vadītā kinematogrāfiskā video ģenerēšanā. Wan2.2 ir arī izmantots, lai izveidotu vienotu modeli tēlu animācijai un aizvietošanai ar holistisku kustību un izteiksmes reprodukciju, kā arī audio vadītam kinematogrāfiskam video ģenerēšanas modelim, ieskaitot izpildes kodu, modeļa svarus un tehnisko ziņojumu. Modelis ir izveidots ar Wan2.2‑VAE, radot 5B modeli ar saspiestības koeficientu 16 : 16 : 4, kas atbalsta gan tekstu‑uz‑video, gan attēla‑uz‑video ģenerēšanu 720p izšķirtspējā ar 24 fps. Modelis ir izlaists zem atvērtā koda licences, ir guvis plašu popularitāti, ar vairāk nekā 50 izmaiņām GitHub krātuvē un lielu kopienu ar līdzdotājiem un lietotājiem. Wan2.2 ir jaudīgs video ģenerēšanas modelis, kas nodrošina vadošu sniegumu un daudzpusību dažādās lietojumprogrammās, tai skaitā tēlu animācijā, aizvietošanā un audio vadītā kinematogrāfiskā video ģenerēšanā. Tā arhitektūra un apmācības datu kopa padara to par vērtīgu resursu pētniekiem un izstrādātājiem video ģenerēšanas un apstrādes jomā. Modelis ir piemērots dažādām lietojumprogrammām, ieskaitot tēlu animāciju, aizvietošanu un audio vadītu kinematogrāfisko video ģenerēšanu. Tomēr, tāpat kā jebkuram mašīnmācīšanās modelim, arī Wan2.2 ir ierobežojumi. Piemēram, lai sasniegtu tādu sniegumu, tas pieprasa ievērojamus skaitļošanas resursus un lielu apmācības datu kopu, un tas var nebūt piemērots visiem video ģenerēšanas uzdevumiem. Papildus, lai gan Wan2.2 ir integrēts vairākos ietvaros, tā sniegums un daudzpusība var atšķirties atkarībā no konkrētā lietošanas gadījuma un lietojumprogrammas. Kopumā Wan2.2 ir spēcīgs un daudzpusīgs video ģenerēšanas modelis, kas nodrošina vadošu sniegumu dažādām lietojumprogrammām. Tā arhitektūra un apmācības datu kopa ir vērtīgs resurss pētniekiem un izstrādātājiem video ģenerēšanas un apstrādes jomā.