历史对决 · 2024-02-09 UTC
AI Infrastructure & MLOps 对决 — 2024年2月9日
来自AI Infrastructure & MLOps类别。 19个标记分布在6个参赛者中。 Helicone夺得桂冠。
最终排名
阵容
参赛工具
参加这场对决的每个工具的简介,按最终得分排序。
Helicone 是为使用大语言模型的团队打造的可观测性与网关平台。它位于你的应用与 AI 提供商之间，捕获请求、响应、延迟、成本和错误，使开发者能够调试提示词并在统一仪表盘上跟踪性能。 除了日志功能，Helicone 还提供提示词管理、A/B 测试、缓存、速率限制和用户级分析等工具。其供应商无关的网关让团队能够在 OpenAI、Anthropic 等模型之间路由流量，便于实验、控制开支并交付可靠的 AI 功能。
标准细分
- 请求与响应日志记录
- 提示词版本管理与实验
- 缓存与速率限制
- 按用户或会话的成本追踪
- 多供应商网关路由
- 自定义警报和仪表盘
Keywords AI 是一个面向开发者的平台，用于监控、调试和改进基于大型语言模型构建的 AI 应用。它将日志、追踪和指标集中管理，让团队能够了解其提示、模型和代理在生产环境中的行为。 该工具帮助工程师在用户之前捕捉回归、延迟峰值和质量问题。通过对请求、响应和成本进行结构化可视化，缩短了实验与部署之间的反馈循环。 它面向那些希望将 LLM 功能与其技术栈其他部分以同等严格的方式对待的团队，提供一个统一的工作区，集成评估、警报和分析。
标准细分
- 请求和响应日志记录
- 多步骤 LLM 工作流程跟踪
- 提示和模型性能分析
- 成本和令牌使用跟踪
- 评估和警报工具
- 流行 LLM 供应商的 SDK
TheAgentic AI 是一家应用型 AI 研究公司，致力于与创始人、领域专家、顾问以及创业专业人士合作，打造并推出垂直领域的 AI 公司。它并非单纯定位为自助软件产品，而是以风险投资式工作室的模式运作，将专有的研究基础设施与实战工程、产品及市场推广执行相结合。 公司的产品分为多个项目。Launchpad Gold 部署 TheAgentic 的研究基础设施，从零开始为客户构建 AI 产品，目标在约 8–24 周内实现从无到可投产，合作伙伴保留股权和 IP。Prometheus 将职责划分，合作伙伴提供领域知识并至少有一位设计合作伙伴，TheAgentic 负责工程、产品管理、线索生成、销售、计费和合同。TheNativesAI 为专业人士提供一条结构化路径，帮助他们创建并拥有 AI 原生业务；Phoenix 为在天使/种子轮融资与后期阶段之间的 B2B AI 与 SaaS 初创公司提供支持。Platinum Operators 面向希望成为垂直 AI 解决方案的面向市场运营者的商业领袖。 支撑这些程序的是由 TheAgentic 研发团队打造的技术栈，其中包括 Sanscritic，被描述为一种 model-agnostic 的 “Reasoning OS”，它将推理从底层 LLM 中解耦，并借鉴 Sanskrit epistemology，提供结构化、多视角的推理，以应对需要高准确性且不受前沿模型锁定的领域问题。该技术栈还包含 TheAgentic Memory，一个具备时间上下文的自组织语义与情景记忆系统，适用于需要随时间保留信息的智能体，并提供编排与知识的框架。 该模型最适合那些拥有深厚专业知识但缺乏构建生产级 AI 系统工程能力的创始人和领域专家，并且对合作伙伴关系或股权方式的合作感到自在。由于大部分价值体现在定制化的构建合作与项目上，而非已发布的自助式产品，用户体验在很大程度上取决于合作伙伴结构和筛选流程。网站上对定价、条款以及底层框架的技术细节公开信息有限。
标准细分
- Sanscritic - 无边界、不限于特定LLM的推理OS
- TheAgentic Memory - 自组织语义和短期记忆系统
- Agent Orchestration和知识框架
- 按需垂直智能化建立项目
- 市场推动支持，包括销售、账单和合同等
SwarmZero 是一个平台，连接 AI 代理的创作者与寻求在商业、研究和个人工作流程中自动化任务的用户。开发者可以在共享市场上发布专业代理，而终端用户则浏览、部署并组合它们，以完成从数据分析到内容生成等各类工作。 该平台强调智能体互操作性，允许多位智能体协同完成复杂的多步任务。内置的变现工具让创作者从他们的智能体中获得收入，将专业知识转化为可复用、按需服务。 SwarmZero 针对技术构建者和非技术用户两类人群。技术构建者希望通过该工具实现代理工作的分发，而非技术用户则更倾向于使用现成的自动化，而不是从零开始构建。
标准细分
- 代理市场和寻找
- 创作者的利润分享
- 多代理任务协调
- 可部署的预建自动化
- 开发人员 SDK 来出版代理
- 任务和工作流管理
Voyage AI 开发了用于提升搜索、检索增强生成（RAG）以及其他信息检索任务准确性的 embedding 和 reranking 模型。其模型能够将文本、代码和领域特定内容转换为捕捉语义含义的稠密向量表示，帮助应用比传统关键词搜索提供更相关的结果。 平台提供通用嵌入以及针对代码、金融和法律等领域进行调优的专用变体。开发者可通过 API 访问模型，并将其集成到向量数据库、聊天机器人和企业搜索系统中。重排序器进一步细化候选结果，在初始检索步骤之上提升精度。 Voyage AI 旨在为构建 LLM 驱动产品的工程团队提供超越现成方案的检索质量需求。
标准细分
- 文本和代码嵌入模型
- 领域专用变体 (金融、法律、代码)
- 重新排列模型用来结果再次排列
- API 访问以便于集成
- 支持多语种内容
- 兼容流行的向量数据库
Simple Phones提供AI驱动的语音代理，能够处理企业的来电和去电。该服务会将未接通或所有来电转发给自定义AI代理，代理可回答问题、收集潜在客户信息、预约，并在需要时将紧急电话转接给人工。 企业通过描述其公司、服务和常见问题来设置代理，随后可以获得新的电话号码或将已有号码进行转接。每一次来电都将被记录为文字记录、摘要和录音，方便随时回顾互动并逐步完善代理。该方案针对难以应对高通话量的小型企业、机构和服务提供商。
标准细分
- AI 语音助手用于呼入电话
- 可自定义的电话号码或呼叫转发
- 呼叫转录、记录和摘要
- 预约预定和客户信息捕捉
- 人类手交和呼叫路由
- 基于过去的呼叫持续调整