ManifestReal-time kostni nadzor i usmjeravanje za AI agenti i aplikacije, koji omogućavaju optimizaciju višeproveđivaca LLM predikcija.

Manifest je otvoreni izvor platforma dizajnirana za pomoć korisnicima u upravljanju i optimizaciji troška njihove AI prepoznavanja izražavanja tako što nudi sloj podešavanja između agenata ili aplikacija AI i različitih velikih jezičnih modela (LLM). Adresa je izazov visokih cjeni AI-a i složenosti učinkovite uporabe više LLM usluga tako što što se korisnici nalaze u kontrole prepoznavanja konsumiranje i naknade. Nastavak funkcionira tako kako korisnicima omogućava da povežu svoje samostalne agente, aplikacije ili trećetstrane pristupe koji se spajaju s Manifestom. Zatim, korisnici dodaju svoj preferirani LLM (Language Modeling) pružatelj koji može uključivati usluge na temelju API ključa (poput OpenAI-a, Anthropic-a ili Mistrala), postojeće mesečne predplaćene usluge (npr. Anthropic ili GitHub Copilot), kustom pristupe OpenAI - ili Anthropic-sporazumljive krajnje točke ili lokalne modele koji se izvode na ličnoj infrastrukturi pomoću Ollama, LM Studio ili llama.cpp. Kada se poveže, Manifest omogućuje korisnicima definiranje pravila usmjerenja, odabir specifičnih modela i pružatelja za različite upite te postavljanje zamjenskih pravila. To omogućava dinamičku selekciju modela temeljem cijene, performansi ili dostupnosti. Na primjer, omogućava prioritetno korištenje kvota iz prethodno plaćenog pretplatom te automatski vraća se na modele na temelju plaćanja po koristljenom kada dođu do ograničenja. Platforma također nudi realno vrijeme vizualizaciju troškova, što korisnicima omogućava praćenje svakog dolara kojeg upotrebljavaju pri svojim operacijama AI. Izuzetak je mogućnost značajke "AUTO-FIX" Manifesta, koja pokušava prekoračiti različite odbacene zahtjeve za LLM prije nego što dostignu agent. To uključuje rješavanje problema poput zastarjelih ili nepronađenih modela, pogrešnih parametara, štetne zahtjeve i proširenih okvira konteksta, ukazujući na spriječavanje prerane prestanka rada i poboljšanje stupca uspješnosti zahtjeva. Manifest je dizajniran s prisutnošću fleksibilnosti u vidu, podržava širok spektar AI aplikacija, ličnih agenta i radnih tokova. Na raspolaganju su kao oblak verzija za lakše uključivanje ili samohostirani Dockerov deployment, što odražava njegov otvoreni kod. Ovaj pristup predviđa učinkovitost AI za učinkovitiji pristup koji omogućava nižu cijenu bez oživotvorenja ili zavaravanja korisnika u jednu proviziju.