ManifestObservabilité et routage des coûts en temps réel pour les agents et applications d'IA, permettant l'optimisation de l'inférence LLM multi-fournisseurs.

Manifest est une plateforme open-source conçue pour aider les utilisateurs à gérer et à optimiser leurs coûts d'inférence IA en fournissant une couche de routage entre les agents ou applications IA et divers fournisseurs de modèles de langage étendus (LLM). Elle répond au défi des factures IA élevées et à la complexité de l'utilisation efficace de plusieurs services LLM en mettant les utilisateurs en contrôle de leur consommation de modèles et de leurs dépenses. L'outil fonctionne en permettant aux utilisateurs de connecter leurs agents autonomes, applications ou harnesses tiers à Manifest. Ils ajoutent ensuite leurs fournisseurs LLM préférés, qui peuvent inclure des services basés sur des clés API (comme OpenAI, Anthropic, Mistral), des abonnements mensuels existants (par exemple, Anthropic, GitHub Copilot), des endpoints personnalisés compatibles OpenAI ou Anthropic, et même des modèles locaux exécutés sur une infrastructure personnelle via Ollama, LM Studio ou llama.cpp. Une fois connecté, Manifest permet aux utilisateurs de définir des règles de routage, de sélectionner des modèles et des fournisseurs spécifiques pour différentes requêtes et de configurer des solutions de secours. Cela permet une sélection dynamique de modèles en fonction du coût, des performances ou de la disponibilité. Par exemple, il peut donner la priorité à l'utilisation de quotas provenant d'un abonnement prépayé et automatiquement passer à des modèles de paiement à l'utilisation lorsque les limites sont dépassées. La plateforme propose également une visualisation en temps réel des dépenses, aidant les utilisateurs à suivre chaque dollar dépensé dans leurs opérations d'IA. Une capacité exceptionnelle est la fonctionnalité « AUTO-FIX » de Manifest, qui tente de remédier aux échecs courants de requêtes LLM avant qu'ils n'atteignent l'agent. Cela inclut la correction de problèmes tels que les modèles obsolètes ou introuvables, les paramètres incorrects, les requêtes malformées et les fenêtres de contexte dépassées, visant à prévenir les temps d'arrêt et à améliorer les taux de réussite des requêtes. Manifest est conçu avec la flexibilité à l'esprit, prenant en charge un large éventail d'applications d'IA, d'agents personnels et de flux de travail. Il est disponible sous forme de version cloud pour une prise en main facile ou d'un déploiement Docker auto-hébergé, reflétant sa nature open-source. Cette approche vise à rendre l'IA plus abordable et accessible, des développeurs individuels aux entreprises établies, en proposant des outils pour réduire les coûts sans compromettre la qualité ni enfermer les utilisateurs dans un seul fournisseur.