Manifestリアルタイムのコスト観察性とルーティングのためのAIエージェントとアプリケーション向けのリアルタイムコスト観察性とルーティング

AI推論コストの管理と最適化に重点を置いた無料のオープンソースプラットフォームであるManifestは、ユーザーがAIエージェントまたはアプリケーションとさまざまなLarge Language Model(LLM)プロバイダー間にルーティング層を提供することで、LLMサービスを効率的に使用する複雑さと高コストの障壁を乗り越えることができる。多くの場合、LLMプロバイダー間のコスト管理やモデル消費量と支出のコントロールを、ユーザー自身におよそ行うことで、問題を解決している。 ツールは、ユーザーが自律エージェント、アプリケーション、または第三者機構をManifestに接続できるようにすることで稼働します。その後、ユーザーは、OpenAI、Anthropic、MistralなどのAPI キーベースのサービス、従来の月額サブスクリプション (例: Anthropic、GitHub Copilot)、カスタムOpenAIまたはAnthropic互換のエンドポイント、またはOllama、LM Studio、またはllama.hppなどのローカルモデルを実行しているインフラにアクセスできます。 接続された後、Manifestでは、ユーザーがルーティングルールを定義し、異なるクエリに対して特定のモデルとプロバイダーを選択、およびフォールバック設定を行うことができます。これにより、コスト、パフォーマンス、または利用可能性によるモデル選択の動的定義が可能となります。たとえば、定期的に利用されるサブスクリプションのクォータを優先して利用することができ、制限漏れの場合、パッケージを使用できるモデルを自動でフォールバックすることができます。プラットフォームでは、ユーザーがAI運用全体で毎月どの金額を費やしたかをリアルタイムで視覚化できるので、AI操作での金額を追跡できます。 主な特徴のひとつは、Manifestの Manifestは、AIアプリケーション、アプリケーションエージェント、ワークフローを多様な環境でサポートすることを意識し、クラウドバージョンまたはオープンソースのDockerデプロイの両方から提供されています。これもそのオープンソース性を反映しています。これにより、個人開発者から大規模企業まで、コスト削減ツールを提供しながらも品質を損なわないこと、またユーザーを特定の提供者に絞り込まないようにすることで、AIを安価かつアクセスしやすくしたいと考えられています。