ManifestReal-tid kostnadsövervakning och routning för AI-agenter och applikationer, möjliggör multi-leverantörs LLM-inferensoptimering.

Manifest är en öppen källkodsplattform som är utformad för att hjälpa användare att hantera och optimera sina AI-beräkningskostnader genom att tillhandahålla ett routinglager mellan AI-agenter eller applikationer och olika stora språkmodell (LLM)-leverantörer. Den hanterar utmaningen med höga AI-kostnader och komplexiteten i att effektivt använda flera LLM-tjänster genom att ge användarna kontroll över sin modellanvändning och utgifter. Verktyget fungerar genom att tillåta användare att ansluta sina autonoma agenter, applikationer eller tredjepartsverktyg till Manifest. De lägger sedan till sina föredragna LLM-leverantörer, vilka kan omfatta API-nyckelbaserade tjänster (som OpenAI, Anthropic, Mistral), befintliga månadsabonnemang (t.ex. Anthropic, GitHub Copilot), anpassade OpenAI- eller Anthropic-kompatibla slutpunkter och till och med lokala modeller som körs på personlig infrastruktur via Ollama, LM Studio eller llama.cpp. När den är ansluten möjliggör Manifest för användare att definiera routningsregler, välja specifika modeller och leverantörer för olika frågor och konfigurerafallback-alternativ. Detta möjliggör dynamisk modellval baserat på kostnad, prestanda eller tillgänglighet. Till exempel kan det prioritera att använda kvoter från en förbetald prenumeration och automatiskt växla till betala-per-användning-modeller när gränserna överskrids. Plattformen erbjuder också realtidsvisualisering av utgifter, vilket hjälper användare att spåra varje dollar som spenderas över hela deras AI-verksamhet. En utmärkande funktion är Manifests "AUTO-FIX"-funktion, som försöker åtgärda vanliga LLM-begärandefel innan de når agenten. Detta inkluderar att åtgärda problem som föråldrade eller inte funna modeller, felaktiga parametrar, felaktigt formade begäranden och överskridna kontextfönster, i syfte att förhindra driftstopp och förbättra begärandeframgångsgraden. Manifest är byggt med flexibilitet i åtanke och stöder en mängd olika AI-applikationer, personliga agenter och arbetsflöden. Det finns tillgängligt som en molnversion för enkel ombordstigning eller en självvärd Docker-distribution, vilket speglar dess öppen källkods-natur. Detta tillvägagångssätt syftar till att göra AI mer överkomlig och tillgänglig, från enskilda utvecklare till etablerade företag, genom att erbjuda verktyg för att minska kostnader utan att kompromissa med kvalitet eller låsa användare till en enskild leverantör.