Wan2.2Odprto-kodna družina modelov za ustvarjanje videa (5B/14B) za text-to-video, image-to-video in video-to-video, ki zagotavlja 1080p posnetke z izboljšanim gibanjem in nadzorom.

Wan2.2 je odprtokodna družina modelov za generiranje videa z dvema različkama, 5B in 14B, ki podpirata generiranje iz besedila/slika/video-to-video. Omogoča izdelavo posnetkov v 1080p z izboljšanim gibanjem in nadzorom. Model vključuje arhitekturo Mixture-of-Experts (MoE), estetiko na kinematografski ravni ter kompleksno generiranje gibanja. Arhitektura Wan2.2 temelji na video diffusion modelju, pri čemer MoE architecture ločuje denoising process po timesteps. To omogoča ohranjanje enakega computational costa, hkrati pa povečuje skupno model capacity. Wan2.2 je bil izurjen na precej večjem naboru podatkov kot njegov predhodnik Wan2.1, s +65,6% več slikami in +83,2% več videi. Ta razširitev izboljša modelovo generalizacijo po več dimenzijah, vključno z gibanji, semantiko in estetiko. Model podpira generacijo video iz besedila in iz slike pri ločljivosti 720P s 24fps, ter se lahko izvaja na grafičnih karticah za potrošnike, kot je 4090. Je eden izmed najhitrejših modelov 720P@24fps, ki je trenutno na voljo, in lahko hkrati služi tako industrijskemu kot akademskemu sektorju. Wan2.2 je bil integriran v več okvirjev, vključno z Diffusers, ComfyUI in ModelScope, in se je uporabljal v različnih aplikacijah, kot so animacija likov, zamenjava in generiranje filmskih videov na podlagi zvoka. Wan2.2 je bil prav tako uporabljen za ustvarjanje enotnega modela za animacijo in zamenjavo likov z celostno reprodukcijo gibanja in izraza ter za ustvarjanje filmskih videov, pogojenih z zvokom, vključno z inference code, model weights in tehničnim poročilom. Model je prav tako bil uporabljen za ustvarjanje 5B modela, zgrajenega z Wan2.2-VAE, ki doseže razmerje stiskanja 16 16 4, ter podpira generiranje iz besedila v video in iz slike v video pri ločljivosti 720P s hitrostjo 24fps. Model je izdan pod odprtokodno licenco in je postal priljubljen, z več kot 50 commit-i na svojem GitHub repozitoriju ter obsežno skupnostjo prispevkov in uporabnikov. Wan2.2 je močan model za generiranje videa, ki nudi najnovejše zmogljivosti in vsestranskost za različne aplikacije, vključno z animacijo likov, zamenjavo in generacijo kinopodobnih videov na podlagi zvoka. Njegova arhitektura in učni nabor podatkov ga naredita dragocenim viru za raziskovalce in razvijalce, ki delajo na področju generiranja in obdelave videa. Model je primeren za različne aplikacije, vključno z animacijo likov, zamenjavo in ustvarjanjem filmskih videov z zvokom. Vendar, tako kot vsak model strojnega učenja, ima Wan2.2 nekaj omejitev. Na primer, zahteva pomembno količino računalniških virov in podatkov za treniranje, da doseže svoje zmogljivosti, in morda ni primeren za vse vrste nalog ustvarjanja videa. Poleg tega, čeprav je Wan2.2 integriran v več okvirov, se lahko njegova zmogljivost in vsestranskost razlikujeta glede na specifičen primer uporabe in aplikacijo. Na splošno je Wan2.2 močan in vsestranski model za generiranje videa, ki nudi izjemne zmogljivosti za različne aplikacije. Njegova arhitektura in treningni podatkovni set ga naredita dragoceno sredstvo za raziskovalce in razvijalce, ki delujejo na področju generiranja in obdelave videa.