ManifestOpazovanje stroškov v realnem času in usmerjanje za AI agente in aplikacije, ki omogoča optimizacijo inferenc LLM pri več ponudnikih.

Manifest je odprtokodna platforma, zasnovana za pomoč uporabnikom pri upravljanju in optimizaciji stroškov AI inferenc z zagotavljanjem usmerjevalne plasti med AI agenti ali aplikacijami in različnimi ponudniki velikih jezikovnih modelov (LLM). Odpravlja izziv visokih AI računov in kompleksnost učinkovite uporabe več LLM storitev, tako da uporabnikom omogoča nadzor nad porabo modelov in izdatki. Orodje deluje tako, da uporabnikom omogoča povezati svoje avtonomne agente, aplikacije ali vtičnike tretjih oseb z Manifestom. Nato lahko dodajo svoje želene ponudnike LLM, ki lahko vključujejo storitve na osnovi API ključa (kot so OpenAI, Anthropic, Mistral), obstoječe mesečne naročnine (npr. Anthropic, GitHub Copilot), prilagojene končne točke, združljive z OpenAI ali Anthropic, ter celo lokalne modele, ki tečejo na osebni infrastrukturi preko Ollama, LM Studio ali llama.cpp. Ko je povezava vzpostavljena, Manifest uporabnikom omogoča definiranje pravil usmerjanja, izbiro specifičnih modelov in ponudnikov za različna poizvedovanja ter nastavitev rezervnih možnosti. To omogoča dinamično izbiro modela glede na stroške, zmogljivost ali razpoložljivost. Na primer, lahko daje prednost uporabi kvot iz predplačane naročnine in samodejno preklopi na modele po principu plačila po uporabi, ko so omejitve presežene. Platforma prav tako ponuja vizualizacijo porabe v realnem času, kar uporabnikom pomaga slediti vsakemu porabljenemu dolarju v njihovih AI operacijah. Izstopajoča funkcija je AUTO‑FIX v orodju Manifest, ki poskuša odpraviti pogoste napake pri LLM zahtevah, preden pridejo do agenta. To vključuje popravke težav, kot so zastareli ali ne najdeni modeli, napačni parametri, nepravilno oblikovane zahteve in prekoračena okna konteksta, s ciljem preprečiti izpade in izboljšati stopnjo uspešnosti zahtev. Manifest je zasnovan z mislijo na prilagodljivost, podpira širok nabor AI aplikacij, osebnih agentov in delovnih tokov. Na voljo je kot oblačna različica za enostavno uvajanje ali kot samostojna Docker namestitev, kar odraža njegovo odprtokodno naravo. Ta pristop želi AI narediti bolj cenovno dostopno in dostopno, od posameznih razvijalcev do uveljavljenih podjetij, z orodji, ki zmanjšujejo stroške brez ogrožanja kakovosti ali zaklepanja uporabnikov v enega ponudnika.