ManifestObservabilitate și rutare a costurilor în timp real pentru agenți și aplicații AI, care permit optimizarea inferenței LLM multi-provider.

Manifest este o platformă open-source creată pentru a ajuta utilizatorii să gestioneze și optimeze costurile de inferență AI prin furnizarea unei straturi de rutare între agenții sau aplicații AI și diverse furnizori de modele de limbaj mare (LLM). Se adresează provocării facturilor AI ridicate și complexității utilizării eficiente a mai multor servicii LLM printr-un control mai bun al consumului și a costurilor utilizatorului de modele. Aplicația funcționează prin înglobarea agenților autonomi, aplicațiilor, sau dezinfectanților de terță parte conectate către Manifest. Apoi, utilizatorii adaugă furnizorii de modeluri cu limbă largă preferați, care pot include serviciile bazate pe chei API (ca și OpenAI, Anthropic, Mistral), abonamentele lunare existente (de exemplu Anthropic, GitHub Copilot), punctele finale custom compatibile cu OpenAI sau Anthropic, și chiar și modele locale care rulează pe infrastructura personală prin intermediul Ollama, LM Studio sau llama.cpp. Odată conectat, Manifest permite utilizatorilor să definească reguli de routing, să selecteze modele specifice și furnizori pentru interogări diferite, și să configureze fallback-uri. Acest lucru permite selectarea dinamică a modelului pe baza costului, performanței sau disponibilității. De exemplu, poate prioriza utilizarea de cuote dintr-o subscrisie preplatită și poate reveni automat la modelurile pe bază de plată când limitele sunt depășite. Platforma oferă, de asemenea, o vizualizare în timp real a cheltuielilor, ajutând utilizatorii să urmărească fiecare dolar petosit în operațiile lor de inteligență artificială. O capacitate remarcabilă este cea "AUTO-FIX" a Manifest-ului, care încearcă să vindece eşecurile comune de solicitare a modelului LLM mai înainte de a atinge agentul. Aceasta include remedierea problemelor ca depășirea vechilor versiuni sau a neschimbătorilor de model, parametrii greșiți, solicitările deformatate, contexte supraîncărcate și alte probleme similare, având ca scop prevenirea blocării și a îmbunătățirii ratei de reușită a solicitărilor. Manifest este creat cu flexibilitatea în vedere, susținând o varietate largă de aplicatii AI, agenți personali, și fluxuri de lucru. Este disponibil sub formă de versiune în cloud pentru ușurarea onboardingului sau o implementare auto-hosted Docker, reflectând natura lui open-source. Acest lucru are ca scop să facă inteligența artificială mai accesibilă și mai ieftină, indiferent dacă este vorba de dezvoltatori individuali sau de entități instituționale bine stabilite, prin oferirea instrumentelor pentru reducerea costurilor fără compromiterea calității sau blocarea utilizatorilor în prezența unui singur furnizor.