历史对决 · 2024-08-12 UTC
AI Model Serving Platforms 对决 — 2024年8月12日
来自AI Model Serving Platforms类别。 15个标记分布在4个参赛者中。 Astrolabe夺得桂冠。
最终排名
阵容
参赛工具
参加这场对决的每个工具的简介,按最终得分排序。
Astrolabe 是一个开源 AI 网关，旨在位于 OpenClaw 代理与 OpenRouter 之间。它充当路由代理，能够对每个请求进行分类，从静态已签入的名册中解析出合适的模型通道，向 OpenRouter 发起调用，并对工具使用和不可信输入应用安全策略。其目标是让自托管代理无需在每一次交互中手动调优提供商和模型 ID。 该项目公开了一组虚拟模型，例如 astrolabe/auto、astrolabe/coding、astrolabe/research、astrolabe/vision、astrolabe/strict-json、astrolabe/cheap 和 astrolabe/safe。这些虚拟模型对应于来自 DeepSeek、OpenAI、Anthropic、MiniMax、Moonshot、xAI、Qwen、Google 和 Mistral 等供应商的具体基础模型，这些模型以静态清单的形式维护，而非硬编码的配置对象。 Astrolabe 为 OpenClaw 代理集中处理四大核心问题：路由灵活性、可靠性与回退行为、成本控制以及工具使用的安全策略。它旨在在不增加数据库、托管控制平面或任何 SaaS 依赖的前提下提供这些功能。OSS 版本为无状态且自托管；运营者需提供自己的 OpenRouter API key 和 Astrolabe API key，然后将 OpenClaw 指向 Astrolabe 实例。 在运行时，OpenClaw 会向 Astrolabe 的 POST /v1/responses 接口发送请求（同时保留 POST /v1/chat/completions 作为兼容适配器）。Astrolabe 会对类别、复杂度和修饰符进行分类，确定 lane 和候选模型集，执行请求，验证非流式响应，执行工具策略检查，并可能一次提升到更强的模型。它会返回上游响应以及 x-astrolabe-* 头信息和内联元数据。 截至 0.3.0 Beta 版本，项目仍处于早期阶段且规模较小。它专为 OpenClaw 生态系统定制，而非通用 LLM 网关，因此在该工作流程之外的用户可能会在 LiteLLM 或 OpenRouter 自己的路由工具中找到更成熟的替代方案。其静态、已检入的模型清单提供可复现性，但随着模型的变化需要手动更新。
标准细分
- 兼容 OpenAI 的 /v1/responses 和 /v1/chat/completions 端点
- 跨多家提供商的静态检查模型清单
- 虚拟模型通道（auto、coding、research、vision、cheap、safe、strict-json）
- 按类别、复杂度和修饰符进行请求分类
- 具有单次升级的工具使用安全策略检查
- 响应验证和 x-astrolabe-* 元数据头
Jina AI 提供了一套围绕搜索、检索和多模态理解的基础模型和 API。其核心产品包括文本和图像嵌入、神经重排序器、零样本分类器，以及用于构建大规模检索增强生成（RAG）工作流的工具。 该平台面向开发者和团队，专为构建搜索引擎、推荐系统以及需要跨文本、图像和结构化数据进行推理的 AI 助手而设计。模型可通过托管 API 和开源发布获取，支持多语言和长上下文功能，能够处理大型文档。 Jina AI 与常用向量数据库和 LLM 框架集成，成为构建生产级语义搜索与知识检索系统的实用构件。
标准细分
- 文本和图像嵌入模型
- 神经重排序器 API
- 零-shot 分类
- 长上下文文档支持
- 多语言检索
- RAG 与向量数据库集成
GLM-4.5 是智普 AI (Z.ai) 开发的 GLM 系列模型之一的开源大语言模型。它采用 Mixture-of-Experts (MoE) 架构和混合推理设计，允许模型在回答前“思考”或直接作答，面向具备自主性的工作流、编程和工具使用。该模型支持 128K-token 的上下文窗口，并支持原生工具调用。 该模型面向正在构建 AI 代理和编码助手的开发者。它引入了“Interleaved Thinking”（交错思考），即模型在每一次回复和工具调用之前先进行推理；后续的 GLM 版本（GLM-4.6 与 GLM-4.7）在此基础上扩展了 Preserved Thinking（保留思考）和 Turn-level Thinking（回合级思考）等功能。GLM-4.5 强调代理式编码，已集成主流代理框架和编码工具，如 Claude Code、Cline、Roo Code 与 Kilo Code。 GitHub 仓库托管模型资源、推理代码和示例；权重已公开发布，支持自托管，API 通过 Z.ai API Platform 提供。仓库现在还记录了后继模型 GLM-4.6（将上下文扩展至 200K 令牌）和 GLM-4.7，并提供轻量级 30B-A3B 变体（GLM-4.7-Flash），以实现更高效部署。 作为一款开放权重发布的模型，GLM-4.5 与其他面向代理和编码用例的开放模型展开竞争。它的优势体现在工具使用、推理控制和开放性方面，但在本地运行大型 MoE 模型需要相当的硬件支持，而更新的 GLM 版本已在基准测试中超越它。
标准细分
- 混合专家（MoE）架构
- 具有思考/非思考模式的混合推理
- 代理的原生工具调用
- 响应和工具调用前的交织思考
- 128K上下文窗口
- 代理编码优化
New API 是一个开源 LLM 网关，提供统一接口，连接多家 AI 模型服务商，包括 OpenAI、Anthropic Claude 和 Google Gemini 风格的 API。它充当一个中央管理层，允许团队在各服务商之间路由请求、控制访问，并在一个地方跟踪使用情况。 本项目面向需要大规模使用 AI API 的开发者、平台团队和组织，旨在提供单一网关，而非为每个供应商单独集成。通过暴露与 OpenAI 兼容的端点，现有应用和 SDK 可以在不重写客户端代码的情况下，使用多种后端。 除了基本的代理功能，New API 关注运营层面的诸如基于令牌的配额、计费与信用管理、请求审计以及使用分析等问题。这些功能使其适用于构建内部 AI 平台，或向多名用户/团队再销售/计量访问权限。 作为一款开源、可自托管的工具，它让运营者能够控制部署和数据流，这对成本管理和合规性至关重要。它定位于与 LiteLLM、One API 等其他 API 网关和聚合器相同的领域，并从中汲取灵感。 与大多数自托管网关类似，采用 New API 需要进行基础设施搭建和持续维护，且对供应商支持的广度和稳定性取决于社区贡献。
标准细分
- 统一多提供商API网关
- OpenAI 兼容的端点
- 在模型提供商之间路由请求
- 基于令牌的限额和计费管理
- 使用分析和请求审计
- 优点和缺点