VibeVoiceConverta texto em áudio natural, com múltiplos alto-falantes e vozes distintas de IA em segundos.

VibeVoice é uma ferramenta de inteligência artificial que converte texto em áudio altissonante e em multi-falantes com vozes distintas. Está alimentada pelo modelo VALL-E X da Microsoft e utiliza uma arquitetura do estilo VALL-E para tratar a síntese de fala (TTS) como um problema de modelagem de linguagem. Essa abordagem permite uma fala excepcionalmente natural. O ferramenta é projetada para orquestrar conversas que parecem reais com um elenco completo de vozes de IA. Ela apoia o domínio de vários falantes, permitindo que gera vozes distintas de um único roteiro. O VibeVoice também oferece síntese cross-lingual, mudando rapidamente entre o inglês e o chinês enquanto mantém uma identidade vocal consistente. As características-chave do VibeVoice incluem sua capacidade de capturar a prosódia sutil e emoção da fala humana, oferecendo uma realidade inigualável. O modelo pode manter a prosódia natural e a coerência por períodos prolongados, tornando-o apropriado para audiolivros e podcasts de larga duração. Além disso, o VibeVoice dispõe de capacidades zero-shot, possibilitando a síntese de vozes personalizadas a partir de prompts de áudio curtos por meio de 'aprendizado no contexto'. VibeVoice se apresenta como ferramenta para a criação de conteúdo de áudio profissional, oferecendo um novo standard para tecnologia de voz AI, com foco na qualidade, realismo e liberdade criativa. Foi construído sobre uma base de código aberto, tornando disponível para todos a tecnologia de voz de alta qualidade AI.