VibeVoiceテキストを秒単位で自然なマルチスピーカーアウトに変換する

VibeVoiceは、自然な声で聞こえる、複数の話者による多話者音声にテキストを変換するAIツールです。このツールは、テキストを音声に変換する(テキスト・トゥー・スピーチ、TTS)を言語モデリングタスクとして取り上げるというVALL-Eスタイルのアーキテクチャを使っています。このアプローチは、卓越した自然な音声につながります。 これは、フルキャストのAIボイスとlifelikeな会話を調整するように設計されています。これは、1つのスクリプトから単一のスクリプトから複数の声援を生成することを可能にするマルチスピーカーマスタシーをサポートしています。VibeVoiceはまた、英語と中国語の間にシームレスにブレーキングしながら、一貫したボーカルIDを維持しながら、クロスリンガルシンセシスを提供します。 VibeVoiceの主な特徴を挙げると、人間の発話の微妙なプロソディーと感情を捉える能力が、他に比べると圧倒的な臨場感を提供できるという点が挙げられる。モデルは、長時間の会話を扱うことでも自然なプロソディーを維持し、合成音声の統一感を保ち続けることができるため、アナウンサー用の長時間の朗読やポッドキャストが可能となっている。さらに、VibeVoiceにはゼロショットの能力があり、そのような能力を通じて、短い音声の入力からインコンテキスト・ラーニングを使用して、カスタマイズされた声の合成が可能となっている。 VibeVoiceは、プロフェッショナルなオーディオコンテンツを作成するためのツールとして位置づけされています。これは、高品質、立体感、創造的な自由に焦点を当てたAIボイステクノロジーの新しい基準を提示しています。これはオープンソースの基盤で構築されており、高品質のAIボイステクノロジーへのアクセスが誰でも可能になります。