Wan2.2오픈 소스 비디오 생성 모델 패밀리 (5B/14B) : 텍스트 또는 이미지/비디오에서 비디오, 1080p 클립의 향상된 운동 및 제어를 제공함.

Wan2.2은 5B 및 14B라는 두 가지 형태의 오픈 소스 동영상 생성 모델 가족으로, 텍스트/이미지/동영상 → 동영상 생성을 지원합니다. 또한 1080p 영상을 향상된 움직임과 제어가 가능한 빠르고 신뢰할 수있는 동영상으로 생성할 수 있습니다. 이 모델은 MIXTURE-OF-EXPERTS (MoE) 아키텍처, 영화급 미학 및 복잡한 동작 생성을 포함하고 있습니다. Wan2.2의 아키텍처는 비디오 전파 모델에 기반을 두고 있으며 MoE 아키텍처는 동시대별로 잡음 제거 과정을 분리하여, 동일한 연산 비용을 유지하여 총 모델 용량을 증가시킵니다. Wan2.2은 전신 버전인 Wan2.1보다 훨씬 더 큰 데이터 세트로 학습되었습니다. 이는 +65.6% 더 많은 이미지와 +83.2% 더 많은 비디오로 구성된 것입니다. 이러한 확장은 운동, 의미론, 미학 등의 다차원에 걸쳐 일반화를 강화하는 데 반영하고 있습니다. 이 모델은 720P 24fps으로 텍스트-비디오와 이미지-비디오 생성을 지원하며, 소비자 등급 그래픽 카드인 4090 같은 모델에서 실행이 가능합니다. 이 모델은 현재 720P@24fps 중 가장 빠른 모델 중 하나로, 산업 및 학계의両쪽으로 동시에 서비스가 가능합니다. Wan2.2은 Diffusers, ComfyUI, ModelScope과 같은 프레임워크에 통합되었으며 캐릭터 애니메이션, 대체, 음소거 영화 생성과 같은 다양한 응용 프로그램에 사용되었습니다. Wan2.2는 홀로스틱한 움직임과表情 복제를 포함한 캐릭터 애니메이션 및 대체를 위한 통합 모델을 만들기 위해 사용됐으며, inference 코드, 모델 가중치 및 기술 보고서도 포함하며, 음성 지시로 촬영한 영화급 비디오 생성 모델도 개발했다. 이 모델 또한 Wan2.2-VAE를 사용하여 만든 5B 모델이 개발되어, 720P에서 24프레임의 16:16:4 압축비율을 지원하는 텍스트-비디오 및 이미지-비디오 생성을 가능하게한다. 이 모델은 오픈 소스 라이선스로 출시되었으며, 기판의 GitHub 저장소에서 50개 이상의 커밋을 받았으며, 커뮤니티에서 많은 참여자와 사용자의 호응을 얻고 있습니다. 위안2.2 (Wan2.2)은 차세대 영상을 빠르게 만들 수 있는 강력한 영상을 생성하는 모델이며, 캐릭터 애니메이션, 캐릭터 교체, 오디오를 기반으로하는 시네마틱 비디오 생성, 다양한 목적으로 최첨단 성능과 유연성을 제공합니다. 그들의 설계와训练 데이터는 영상을 생성하고 처리하는 분야에서 연구자 및 개발자들이 유용한 도구로 사용됩니다. 이 모델은 캐릭터 애니메이션, 대체, 및 음성으로 운舞되는 시네마틱 비디오 생성과 같은 다양한 응용처에 적합합니다. 그러나, 어떠한 머신 러닝 모델과 마찬가지로 Wan2.2에는 한계가 있습니다. 예를 들어, Wan2.2은 성능을 달성하기 위해 상당한 양의 계산 자원과训练 데이터가 필요하고, 모든 종류의 비디오 생성 작업에 대해 उपयुक적이지 않을 수 있습니다. 또한, Wan2.2은 여러 프레임 워크와 통합되었습니다. 그러나 특정 사용 사례와 어플리케이션에 따라 WAN2.2의 성능 및 유연성은 다를 수 있습니다. 전반적으로 Wan2.2은 유용한 애플리케이션을 비롯한 다양한 업무에 고급 퍼포먼스를 제공하는 강력하고 유연한 비디오 생성 모델이다. 모델의 구조 및 학습 데이터셋으로 인해 비디오 생성 및 처리에 종사하는 연구자 및 개발자에게 유용한 리소스가 되었다.