Vocodeリアルタイム声アイエージェントに必要な音声認識、LLM、音声合成コンポーネントを組み合わせるためのオープンソースフレームワーク

Vocodeは、声質問応答式AIアプリケーションを構築するためのオープンソースライブラリです。 それが提供するパイプラインにより、音声認識、巨大言語モデル、音声合成等をリアルタイムでつながれ、 開発者は電話コール、Webソケット、またはローカルアウディオを介して、聞き、推論、そして話すことができるエージェントを開発できます。 フレームワークは主にPython SDKとして配布され、対話が反応性のあるものであるのではなく、長い待ち時間の中でのターン別のものではなく、ストリーミングオーディオに焦点を当てています。 voicesジェンシィは、声のエージェントを素から作る難しい点である、切断を管理する (barge-in)、バッファリングとストリーミングトランスクリプション、そして、トランスクリプター、アジェントロジック、およびシンセシイザーの間の順序付けを取ることの取りまとめなどのオーケストレーション関心を取り扱います。 Vocodeはモジュラーかつサービスプラットフォームに依存しない設計で、各ステージのパイプラインに適合する3rdパーティサービスとの統合をサポートしています。例えば、DeepgramやAssembly AIなどの音声認識サービス、OpenAIのような言語モデル、ElevenLabs、Azureなどの音源エンジンなどが含まれます。開発者はコスト、遅延、音声質のニーズに基づいてコンポーネントを入れ替えることができます。 一般的な使用例は電話に関係しています。VoCodeは、Twilioなどのプロバイダーを通じて、電話の着信・発信をサポートします。これにより、アウトバウンドおよびインバウンドの自動コールエージェント、ボイスアシスタント、および顧客に対する電話ボットを作成するのに適したものになります。これには、ブラウザベースおよびローカルマイク会話が対応しているため、インアプリボイスエクスペリエンスを構築できます。 Vocodeは、オープンソースで自社ホスティング可能なため、自分のシステム構成を制御しエージェントの動作をカスタマイズしたいチームを対象としている。ただし、その欠点は製品化された音声エージェントを作るには、サードパーティのトランスクリプション、LLM、TTSサービスを組み合わせてコストで運営しなければならないこと、そして、遅延や会話の仕草の調整を必要としたりするということである。 このツールは、マネージド プラットフォームや他のフレームワークとともに、声エージェント ツールの新興分野に立っています。 主要な差別化点は、開発者の方がパイプラインの内部構造に直接アクセスできるオープンソースで組成可能なアプローチです。