ManifestEgyszeri időben aktív költségfigyelés és útválasztás az AI ügynökök és alkalmazások számára, amely lehetővé teszi a többnyomású nagy nyelvi modell (LLM) alkalmazáson keresztüli optimalizálást.

A Manifest egy nyílt forráskódú platform, melynek segítségével azonnal felmérhetik a felhasználók az AI-kódolási költségek optimalizálását egy új szintű szabályozás bevezetésével, a nagy nyelvi modell (LLM) szolgáltatókhoz és AI-ügynökökhöz vagy alkalmazásokhoz közvetlen kapcsolatot létrehozva. Megoldást nyújt az AI-költségek magas szintjének és az erőforrások hatékony használatának összetettségére azáltal, hogy a felhasználókat a modell fogyasztásukat és kiadásaikat teljes mértékben uralni hagyja. A szóval foglalkozó felhasználók eléréséhez lehetővé teszi a felhasználók számára, hogy csatlakozzanak önjáró ügynökeikhez, alkalmazásaikhoz vagy harmadik féltől származó ráncokhoz a Manifesthez. Azután hozzáadják a kedvenc Language Model (LLM) szolgáltatóikat, amelyet akár API kulcsalapú szolgáltatásokhoz (mint OpenAI, Anthropic, Mistral), a későbbiekben befizetett havi számlához (pl. Anthropic, GitHub Copilot), a meglévő megfelelő OpenAI- vagy Anthropic-kompatibilitású végpontokhoz, vagy akár saját infrastruktúrájukon futó helyi modelljeikhez, például az Ollama, az LLM Studio vagy a llama.cpp felhasználása révén. Az összekapcsolás után a Manifest lehetővé teszi a felhasználóknak a menüútvonal-vezérlő szabályok beállítását, a különféle kérdésekhez kiválasztani bizonyos modelleket és rendszereket, valamint a tartalékbeállítások felállítását. Ezzel lehetővé válik a modellválasztás egy dinamikus beállítása az ár, teljesítmény vagy rendelkezésre állás alapján. Például prioritásként a megrendelt előfizetésen belüli ráták használatát érdemes használni, és olyankor automatikusan átállni a pénzügyi meghatározás nélküli modellre, amikor a korlátozások elérése történik. A platform valós időben tár információt a költésről, és ezzel lehetővé teszi a felhasználókat, hogy nyomon kövessék a pénzügyi költségeiket minden mesterséges intelligencia műveletükhöz. A Manifest kiemelkedő képessége az "AUTO-FIX" funkció, amely megkísérli a közös LLM kérés-failtelenítő hibákat ennen, hogy elérje az ügynökséget. Emellett javítani tud a modellek elavult vagy nem-lelhető közzétételre, rossz paraméterekre, rossz formátumú kérésekre, és túlléptett kontextusablakra vonatkozó problémákat, törekedve a leállások megelőzésére és a kérés-sikerességi arány növelésére. A Manifest az együttműködésre épül, támogatja a sokféle AI-alkalmazást, személyes ügynököket és munkafolyamatokat. Elérhető felhőalapú változat formájában, könnyű bevezetéssel, vagy egy önálló Docker-feladattal, ami visszatükrözi az open-source természetét. Ezzel az eljárásral a célok elérése érdekében olyan lehetőséget kínálnak, mely segít csökkenteni az árakat, nem kompromittálva az általános jó minőséget vagy a felhasználókat egyetlen szolgáltatóhoz kötöget.