AI Model Serving Platforms 対決 — 2024年4月29日

1

Jina AI

多モード検索基盤としてのエンベッディング、およびRERANKINGとRAGパイプライン向け

4.2 (5)

無料

詳細レビュー

Jina AIは、検索、還出、モーダル理解を取り巻くAPIとフレームワークを備えたコアモデルを提供しています。 主要な提供品には、テキストと画像エンкодジング、ニューラル リランカー、ゼロショット カラシファイア、検索・還出ゲノメティクス フローウォーク作成ツールの開発が可能なツールが含まれます。 開発者やチームがテキスト、イメージ、構造化データを対象にした検索エンジン、推薦システム、AI アシスタントを作るのに役立つプラットフォームです。ホストドメインAPIとオープンソースのリリースを通じてモデルにアクセスでき、多言語サポートと長文キャパビリティを備え、大量のドキュメントを効率的に処理することができます。 Jina AIは、一般的なベクトルデータベースとLLMフレームワークと統合することで、生産的なシミュレチック検索と知識回収システムの実用的構築ブロックとなる。

• テキストおよび画像エンベッディングモデルの提供
• ネュラーラーランカーAPIの利用
• ゼロショットクラッサーの提供
• 長文書コンテキストサポート
• マルチ言語取得の利用
• リテリバル拡張機能とベクターデータベースへの統合

2

Astrolabe

オープンソースのオープンクリオウエージェント向けルーティングゲートウェイとして、オープンAI互換のコストと安全性ポリシー

4.4 (5)

無料

詳細レビュー

Astrolabeは、OpenClawエージェントとOpenRouterの間のオープンソースなAIゲートウェイです。OpenRouterへのルーティングプロキシとして機能し、受信されたリクエストを区分けし、静的にチェックインしたモデルロスターから適切なモデルを検出し、OpenRouterにコールし、ツールの使用や不信任の入力を対象とする安全ポリシーを適用します。その目的は、ターンごとのプロバイダとモデルIDを手動で調整しないように、自宅ホストされたエージェントを許可することです。 これを実現するためには、デープシーク、アポープン、アンソピック、ミニメックス、ムーンショット、エックスエイ、クウェン、Google、ミストラルなどのプロバイダーから提供された、物理的なモデルから抽象化された、7つの仮想モデルを公開します。これらはastrolabe/auto、astrolabe/coding、astrolabe/research、astrolabe/vision、astrolabe/strict-json、astrolabe/cheap、astrolabe/safeです。これらは、静的なマニフェストの代わりにハードコードされた構成オブジェクトから管理される物理モデルからマッピングされます。 Astrolabeは、OpenClawエージェントのためにルーティングのフリデム、不落の挙動、コスト管理、およびツールの使用の安全性ポリシーを集約します。これらは、データベース、ホストされたコントロールプレーン、またはSaaSの任意の依存関係を追加せずに実現します。OSSバージョンはステートレスでセルフホストされたものであり、オペレーターはオープンルータAPIキーとAstrolabe APIキーを提供し、OpenClawがアストロラーベインスタンスにポイントします。 実行時、OpenClawはAstrolabeのPOST /v1/responses エンドポイントにリクエストを送信します（POST /v1/chat/completionsを含む） 。Astrolabeはカテゴリ、複雑さ、および修飾子を分類し、ロストと該当するモデルセットを解決し、要求を実行し、非ストリーミングのレスポンスを検証し、ツールポリシーのチェックを適用し、再度強力なモデルにエスカレートして、上流リクエストとx-astrolabe-* ヘッダとインラインメタデータを返します。 バージョン0.3.0ベータでは、プロジェクトはエアリーステージと小さすぎます。目的を持って設計されたオープンクラーキェコシステムの代わりに一般用途のLLMゲートウェイとして作成されていないので、ユーザーがLiteLLMやOpenRouter自身のルーティングのようなそれほど成熟した代替を使用することがあります。モデルの変更は静的なモデルロスターが再現性を提供しますが、手動で更新する必要があります。

• オープンAI互換の/v1/responsesと/v1/chat/completionsエンドポイント
• 複数のサービス間で静的メニュー化されたモデルマニフェスト
• 仮想モデル路線（auto，coding，research，vision，cheap，safe，strict-json）
• カテゴリ、複雑さ、モディファイアを用いてリクエストの分類
• ツール使用のセーフティポリシーセットに1回のエスカレーション
• レスポンスの検証とx-astrolabe-メタデータヘッダー

3

New API

オープンな LLM ゲートウェイとしては初で、複数の AI プロバイダー API を一元管理するためのルーティング、請求、分析機能を統合する

4.3 (4)

フリーミアム

詳細レビュー

New APIはオープンソースのLLMゲートウェイであり、さまざまなAIモデルプロバイダーのAPI（OpenAI 、Anthropic Claude 、GoogleのGemini-style APIなど）に統一されたインターフェースで接続できます。 また、チームは1つの場所からリクエストをルーティングし、アクセスを管理し、使用状況をトラッキングできる中間管理層として機能します。 このプロジェクトは、拡大するAI APIを消費する開発者、プラットフォームチーム、および組織に焦点を当てています。これらは、各提供者を個別に統合するのではなく、統一のゲートウェイを求めています。OpenAI互換エンドポイントを公開することで、既存のアプリケーションとSDKを、クライアントコードが再作成することなく、多くのバックエンドと連携することを可能にします。 基本的なプロキシよりも、 New API はトークンに基づくクォータ制御、請求、クレジット管理、リクエストの監査、使用分析などの運用上の懸念に焦点を当てています。これらの機能により、内部の AI プラットフォームを作るには適したもので、またはアクセスを複数のユーザーまたはチームにリセール/メートングするには適したものです。 オープンソースおよび自主管理可能なツールであるため、それが展開およびデータのフローについての制御を、従業員に提供し、コスト管理および準拠性において非常に重要な役割を果たします。これは、LiteLLMおよびOne APIのような他の APIゲートウェイおよびAggregatorの位置付けにおいて位置を共有し、これらから知見を得ています。 一般に自分が所有するゲートウェイでは、New APIを採用するにはインフラの設定と継続的なメンテナンスが必要で、提供者のサポートとスケールはコミュニティからの貢献に依存する。

• 複数のプロバイダー間の統合された API ゲートウェイ
• OpenAI の互換性のあるエンドポイント
• モデル プロバイダー間のリクエスト ルーティング
• トークンベースのクォータと請求管理
• 使用分析とリクエストの監査

4

GLM‑4.5

オープンソースのハイブリッド推論 MoE 基礎モデル、агエンティブ、コード付け、およびツール使用タスク向けに開発

4.5 (6)

無料

詳細レビュー

GLM-4.5は、Z.ai (Zhipuアージ)によりGLMモデルファミリの一部として開発されたオープンソースの大規模言語モデルです。 MoEアーキテクチャとハイブリッド推論設計を使用し、モデルは「思考する」前に回答するか直接回答することができます。 アジェンシー・ワークフロー、コード作成、ツール利用を標的としている。このモデルは128Kトークンコンテキストウィンドーとネイティブツールコールをサポートしています。 GLM-4.5モデルは、AIエージェントとコードアシスタントを構築するための開発者たちの手助けとなるモデルとして位置づけられています。モデルは、「Interleaved thinking」（並列的思考）と呼ばれる機能を導入し、毎回のレスポンスやツールコール前の思考プロセスにおいてモデルが推論を行うことを可能にしました。その後GLM-4.6とGLM-4.7を含む、GLMの後続リリースによってその機能にプレザーヴド・サッピング（Preserved Thinking）やターン・レベル・サッピング（Turn-level Thinking）といった機能が追加されました。GLM-4.5モデルは主流のエージェントフレームワークやコードツールである、クラウデー・コード、クライン、ルー・コード、キロ・コードと統合可能なアジェント的コーディングを強みに据えています。 GitHub リポジトリにはモデルリソース、推論コード、およびサンプルが、公開された重みがオープンリリースされ、セルフホスティングとZ.ai API プラットフォームを介してAPIを提供しています。 このリポジトリは、さらに広範囲の文脈にアクセスできるモデルGLM-4.6とGLM-4.7、および推論に効率的にデプロイできる軽量30B-A3B方言モデルGLM-4.7-Flashのドキュメントも提供しています。 GLM-4.5はオープンなバージョンのリリースで、意思決定とコーディングの用途を対象とする他のオープンなモデルと競合しています。彼らの強みはツールの使用、推論の制御、そしてオープンさですが、大規模モバイル エージェント モデルをローカルに実行するには、相当のハードウェアが必要であり、ベンチマークに勝って以来のGLMのバージョンが新しく作られました。

• Mixture-of-Experts (MoE) アーキテクチャ
• 推論コントロールできるハイブリッド推論モード
• ネイティブツールコール
• 回答やツール呼び出しの前の Interleaved thinking
• 128K バッファーウィンドウ
• agentic コーディング オプティマイズ

5

Pinecone

リアルタイムのセマンティック検索対応の完全マネージドベクターデータベース

4.8 (6)

フリーミアム

詳細レビュー

ピンコンは、意味検索と取得を必要とするAIアプリケーション向けのフルマネージドベクターDBです。高次元ベクトルエンコードを格納し、類似度でクエリを実行し、RAG、レコメンド、AIエージェントメモリなどタスクの最も関連性の高い結果を返します。このサービスは、スケーラブルなベクトルインデックスを実行するオペレーショナルコンプレキシティを抽象化します。 チームがインフラ管理、インデクシングアルゴリズム調整、大規模データに対するスケーラビリティを心配することなく、大容量の埋め込みデータの検索を即座に可能にすることが主な課題です。ピンコーンによると、書き込みは100ms未満でアカウントされ、秒単位で検索可能になります。インデクシングは、データサイズに応じて選択されたアルゴリズムを使用して自動化され、データが増加しても、すべてのデータを並列で検索することで、クエリ性能は安定するということです。 PineconをはじめとしたAI機能を開発中であるエンジニアやチームに利用できる、AI特徴の実装に特化して作られたプラットフォームです。開発者は、選択した次元数で構成された密集ベクトルを保持するインデックス(ネームスペース化)を作成できます。そしてAPIまたはWebコンソールを用いて、upsert、クエリ、取得、更新、削除を行うことができますプラットフォームは、消費型価格モデルに当てはまるリードとライトユニットを元に利用状況を報告します。 Pineconeは、コアデータベースの周辺で、Assistantとインフェランスなどのコンポーネント、管理コンソール (app.pinecone.io)を提供します。これは、READ/WRITE ユニット、リクエストレイテンスペアのパーセンテージ、ストレージサイズ、レコード数などをモニターするのに便利です。インデックスは、AWS us-east-1、us-west-2、eu-west-1のような複数のリージョンやクラウドプロバイダーでデプロイできます。 企業向けには、リストア中および転送中の暗号化、SSO、RBAC、顧客管理暗号化キーの管理、プライベート・ネットワーキングなどのセキュリティとコンプライアンス機能を提供します。また、SOC 2 Type II、HIPAA、GDPR、ISO 27001認定、uptimeとサポートのSLA、専門的な顧客サポートを含めています。 Pineconeは、Weaviate、Milvus、Qdrant、pgvectorなどのベクトルデータベースや検索システムと競合しています。 主な異業種は、インデックスチューニングやインフラストラクチャマネジメントを削除することで、サーバーレスのスタイルの完全管理アプローチですが、このアプローチは、自社ホストのオープンソース代替品と比較して、下位のエンジンに対する制御の限界や、潜在的なベンダールックインのリスクが伴います。

• 管理された高密度ベクターストレージと類似性検索
• 自動および継続的なインデックス化と再平衡
• ネームスペースによるインデックス内のデータのパーティション化
• インデックスのリージョンとクラウドベンダー間のマルチ
• 遅延、通荷量、ストレージメトリックを監視するモニタコンソール
• AIワークフロー用のアシスタントと推論コンポーネント