Wan2.2Familia de modelos de generación de video abierta (5B/14B) para text/image/video-to-video, entregando clip de 1080p con mejor movimiento y control.

Wan2.2 es una familia de modelos de generación de vídeo de código abierto con dos variantes, 5B y 14B, que admiten la generación de vídeo a partir de texto/imagen/vídeo. Puede ofrecer clips de 1080p con movimiento y control mejorados. El modelo incorpora una arquitectura de Mixture-of-Experts (MoE), estética de nivel cinematográfico y generación de movimiento complejo. La arquitectura de Wan2.2 se basa en un modelo de difusión de video, con la arquitectura MoE separando el proceso de eliminación del ruido a lo largo de los pasos de tiempo. Esto le permite mantener el mismo costo computacional mientras aumenta la capacidad general del modelo. Wan2.2 ha sido entrenado con un conjunto de datos significativamente mayor que su predecesor, Wan2.1, con un 65,6% más de imágenes y un 83,2% más de vídeos. Esta expansión mejora la generalización del modelo en múltiples dimensiones, incluyendo movimientos, semántica y estética. El modelo admite generación de texto a video e imagen a video a una resolución de 720p con 24fps, y puede ejecutarse en tarjetas gráficas de consumo como la 4090. Es uno de los modelos más rápidos de 720p@24fps disponibles actualmente, capaz de atender tanto al sector industrial como al académico de manera simultánea. Wan2.2 se ha integrado en varios marcos, incluyendo Diffusers, ComfyUI y ModelScope, y se ha utilizado para diversas aplicaciones, como animación de personajes, reemplazo y generación de videos cinematográficos impulsados por audio. Wan2.2 también se ha utilizado para crear un modelo unificado para la animación de personajes y su reemplazo con replicación de movimiento y expresión holísticos, y un modelo de generación de video cinematográfico impulsado por audio, que incluye código de inferencia, pesos del modelo e informe técnico. El modelo también se ha utilizado para crear un modelo de 5B construido con Wan2.2-VAE que logra una relación de compresión de 16:16:4, admitiendo tanto la generación de texto a video como de imagen a video a una resolución de 720P con 24fps. El modelo ha sido lanzado bajo una licencia de código abierto y ha ganado popularidad, con más de 50 commits en su repositorio de GitHub y una gran comunidad de colaboradores y usuarios. Wan2.2 es un potente modelo de generación de vídeo que ofrece un rendimiento de última generación y versatilidad para diversas aplicaciones, incluyendo animación de personajes, reemplazo y generación de vídeo cinematográfico impulsado por audio. Su arquitectura y conjunto de datos de entrenamiento lo convierten en un recurso valioso para investigadores y desarrolladores que trabajan en el campo de la generación y procesamiento de vídeo. El modelo es adecuado para diversas aplicaciones, incluyendo animación de personajes, reemplazo y generación de videos cinematográficos impulsados por audio. Sin embargo, como cualquier modelo de aprendizaje automático, Wan2.2 tiene algunas limitaciones. Por ejemplo, requiere una cantidad significativa de recursos computacionales y datos de entrenamiento para lograr su rendimiento, y puede no ser adecuado para todo tipo de tareas de generación de video. Además, aunque Wan2.2 se ha integrado en varios marcos, su rendimiento y versatilidad pueden variar según el caso de uso y la aplicación específicos. En general, Wan2.2 es un modelo de generación de video potente y versátil que ofrece un rendimiento de última generación para diversas aplicaciones. Su arquitectura y conjunto de datos de entrenamiento lo convierten en un recurso valioso para investigadores y desarrolladores que trabajan en el campo de la generación y procesamiento de video.