Manifest实时 AI 成本观察性和路由能力，开启多提供商大语言模型预测模型优化。

Manifest 是一个开源平台，旨在通过在 AI 代理或应用与不同 LLM 提供商之间提供路由层，帮助用户管理和优化 AI 推理成本。它解决了高昂的 AI 账单和高效使用多家 LLM 服务的复杂性，让用户能够控制模型使用量与支出。 该工具通过让用户将其自治代理、应用程序或第三方工具连接到 Manifest 来使用。随后，他们可以添加自己偏好的 LLM 提供商，这些提供商包括基于 API Key 的服务（如 OpenAI、Anthropic、Mistral）、现有的月度订阅（例如 Anthropic、GitHub Copilot）、自定义的兼容 OpenAI 或 Anthropic 的端点，甚至可以通过 Ollama、LM Studio 或 llama.cpp 在个人基础设施上运行本地模型。 一旦连接，Manifest 允许用户定义路由规则，为不同的查询选择特定模型和供应商，并设置回退方案。这使得可以根据成本、性能或可用性动态选择模型。例如，它可以优先使用预付订阅的配额，并在超出限制时自动回退到按使用付费的模型。该平台还提供实时支出可视化，帮助用户跟踪 AI 运营中的每一美元支出。 Manifest 的 “AUTO-FIX” 功能是一项突出的特色，它会在请求到达代理之前尝试修复常见的 LLM 请求失败问题。该功能可修复诸如已弃用或未找到的模型、错误的参数、格式错误的请求以及超出上下文窗口等问题，旨在减少停机时间并提升请求成功率。 Manifest 是以灵活性为核心构建的，支持各种 AI 应用、个人代理和工作流。它提供云端版本以简化上手流程，也支持自托管的 Docker 部署，体现其开源特性。该方法旨在让 AI 更加经济实惠、易于获取，从个人开发者到成熟企业均可受益，提供降低成本的工具，同时不牺牲质量，也不会将用户束缚于单一供应商。