ManifestObservabilidad de costos en tiempo real y ruta de enrutamiento para agentes y aplicaciones de inteligencia artificial, lo que permite la optimización de la inferencia de modelos de lenguaje grande en múltiples proveedores

Manifest es una plataforma de código abierto diseñada para ayudar a los usuarios a gestionar y optimizar sus costes de inferencia de IA proporcionando una capa de enrutamiento entre agentes o aplicaciones de IA y varios proveedores de modelos de lenguaje grandes (LLM). Aborda el desafío de las facturas elevadas de IA y la complejidad de utilizar eficientemente varios servicios de LLM poniendo a los usuarios en control de su consumo de modelos y gastos. La herramienta funciona permitiendo a los usuarios conectar sus agentes autónomos, aplicaciones o conjuntos de terceros con Manifest. Luego agregan sus proveedores de LLM preferidos, que pueden incluir servicios basados en claves de API (como OpenAI, Anthropic, Mistral), suscripciones mensuales existentes (por ejemplo, Anthropic, GitHub Copilot), puntos finales personalizados compatibles con OpenAI o Anthropic, e incluso modelos locales que se ejecutan en infraestructura personal a través de Ollama, LM Studio o llama.cpp. Una vez conectado, Manifest permite a los usuarios definir reglas de enrutamiento, seleccionar modelos y proveedores específicos para diferentes consultas y configurar alternativas. Esto permite la selección dinámica de modelos según el costo, el rendimiento o la disponibilidad. Por ejemplo, puede priorizar el uso de cuotas de una suscripción prepagada y recurrir automáticamente a modelos de pago por uso cuando se superen los límites. La plataforma también ofrece una visualización en tiempo real del gasto, lo que ayuda a los usuarios a realizar un seguimiento de cada dólar gastado en sus operaciones de inteligencia artificial. Una capacidad destacada es la función «AUTO-FIX» de Manifest, que intenta remediar errores comunes de solicitud de LLM antes de que lleguen al agente. Esto incluye solucionar problemas como modelos obsoletos o no encontrados, parámetros incorrectos, solicitudes malformadas y ventanas de contexto superadas, con el objetivo de prevenir tiempos de inactividad y mejorar las tasas de éxito de las solicitudes. Manifest se ha creado pensando en la flexibilidad, y admite una amplia variedad de aplicaciones de inteligencia artificial, agentes personales y flujos de trabajo. Está disponible en una versión en la nube para facilitar la incorporación o una implementación Docker autohosted, lo que refleja su naturaleza de código abierto. Este enfoque pretende hacer que la inteligencia artificial sea más asequible y accesible, desde desarrolladores individuales hasta empresas consolidadas, ofreciendo herramientas para reducir costes sin comprometer la calidad ni encerrar a los usuarios en un solo proveedor.