历史对决 · 2025-03-05 UTC
AI Model Serving Platforms 对决 — 2025年3月5日
来自AI Model Serving Platforms类别。 13个标记分布在3个参赛者中。 New API夺得桂冠。
最终排名
阵容
参赛工具
参加这场对决的每个工具的简介,按最终得分排序。
New API 是一个开源 LLM 网关，提供统一接口，连接多家 AI 模型服务商，包括 OpenAI、Anthropic Claude 和 Google Gemini 风格的 API。它充当一个中央管理层，允许团队在各服务商之间路由请求、控制访问，并在一个地方跟踪使用情况。 本项目面向需要大规模使用 AI API 的开发者、平台团队和组织，旨在提供单一网关，而非为每个供应商单独集成。通过暴露与 OpenAI 兼容的端点，现有应用和 SDK 可以在不重写客户端代码的情况下，使用多种后端。 除了基本的代理功能，New API 关注运营层面的诸如基于令牌的配额、计费与信用管理、请求审计以及使用分析等问题。这些功能使其适用于构建内部 AI 平台，或向多名用户/团队再销售/计量访问权限。 作为一款开源、可自托管的工具，它让运营者能够控制部署和数据流，这对成本管理和合规性至关重要。它定位于与 LiteLLM、One API 等其他 API 网关和聚合器相同的领域，并从中汲取灵感。 与大多数自托管网关类似，采用 New API 需要进行基础设施搭建和持续维护，且对供应商支持的广度和稳定性取决于社区贡献。
标准细分
- 统一多提供商API网关
- OpenAI 兼容的端点
- 在模型提供商之间路由请求
- 基于令牌的限额和计费管理
- 使用分析和请求审计
- 优点和缺点
GLM-4.5 是智普 AI (Z.ai) 开发的 GLM 系列模型之一的开源大语言模型。它采用 Mixture-of-Experts (MoE) 架构和混合推理设计，允许模型在回答前“思考”或直接作答，面向具备自主性的工作流、编程和工具使用。该模型支持 128K-token 的上下文窗口，并支持原生工具调用。 该模型面向正在构建 AI 代理和编码助手的开发者。它引入了“Interleaved Thinking”（交错思考），即模型在每一次回复和工具调用之前先进行推理；后续的 GLM 版本（GLM-4.6 与 GLM-4.7）在此基础上扩展了 Preserved Thinking（保留思考）和 Turn-level Thinking（回合级思考）等功能。GLM-4.5 强调代理式编码，已集成主流代理框架和编码工具，如 Claude Code、Cline、Roo Code 与 Kilo Code。 GitHub 仓库托管模型资源、推理代码和示例；权重已公开发布，支持自托管，API 通过 Z.ai API Platform 提供。仓库现在还记录了后继模型 GLM-4.6（将上下文扩展至 200K 令牌）和 GLM-4.7，并提供轻量级 30B-A3B 变体（GLM-4.7-Flash），以实现更高效部署。 作为一款开放权重发布的模型，GLM-4.5 与其他面向代理和编码用例的开放模型展开竞争。它的优势体现在工具使用、推理控制和开放性方面，但在本地运行大型 MoE 模型需要相当的硬件支持，而更新的 GLM 版本已在基准测试中超越它。
标准细分
- 混合专家（MoE）架构
- 具有思考/非思考模式的混合推理
- 代理的原生工具调用
- 响应和工具调用前的交织思考
- 128K上下文窗口
- 代理编码优化
Jina AI 提供了一套围绕搜索、检索和多模态理解的基础模型和 API。其核心产品包括文本和图像嵌入、神经重排序器、零样本分类器，以及用于构建大规模检索增强生成（RAG）工作流的工具。 该平台面向开发者和团队，专为构建搜索引擎、推荐系统以及需要跨文本、图像和结构化数据进行推理的 AI 助手而设计。模型可通过托管 API 和开源发布获取，支持多语言和长上下文功能，能够处理大型文档。 Jina AI 与常用向量数据库和 LLM 框架集成，成为构建生产级语义搜索与知识检索系统的实用构件。
标准细分
- 文本和图像嵌入模型
- 神经重排序器 API
- 零-shot 分类
- 长上下文文档支持
- 多语言检索
- RAG 与向量数据库集成