ManifestReal-timeis bendradarbiavimo ir įrengimo rūšiu į LLM inferencijos optimizaciją.

Manifest yra atvirojo kodo platforma, kurio tikslas - pagalbos naudotojams valdyti ir optimizuoti jų AI naudojimo išaugas, pristatant jų tiesioginę sąsają tiesą su daugiais išvystytių kalbų modelių (LLM) teikėjais. Šita platforma sprendo šiuo metu susidarytą taikinio - aukštos sąnaudos AI faktūrų kainų ir našumo trūkumą naudotis daugiais išvystytių kalbų modelių servisa, suteikiant naudotojams valdžią modelių sąnaudų bei naudojimų jėgai. Šis įrankis veikia taikant naudotojus, kurie prisijungia savo autonomiškus agentus, programas ar kitokius užkėlimus prie Manifesto. Vėliau jie prideda savo norimus LLM teikėjų, kurie gali apimti API raktų pagrįstas paslaugas (pavyzdžiui, OpenAI, Anthropic, Mistral), esamus mėnesinias prenumeratų paslaugas (pvz., Anthropic, GitHub Copilot), personalinę įrenginio infrastruktūrą skirtus LLM modelius Ollama, LM Studio ar llama.cpp per Ollama, LM Studio ar llama.cpp. Prisijungus prie Manifesto, bei naudojimo imančių vartotojų suteikiama galimybė nustatyti kelio reglas, pasirinkti specifius modelius ir teikėjus skirtingiems klausimams, bei įrengti rezervinius variantus. Tai leidžia dynaminiu būdu renkis modelius pagal išlaidas, taupumą ar prieinamumą. Pvz., jis gali priorizuoti naudojant išankstinę mokėtinę prenumeratą užsakytas kvotas ir automatiškai grįžti prie „prenumeratai“ nebuvo prijungiota modelius kada ribos yra peržengtos. Taip pat platforma siūlo realiu laiku vizualizacija išlaidų, padėdama vartotojui valdyti kiekvieną dollarį išlaidas ties Aplinkos intelektuliškas operacijų. Vienintelis atsiskyrėjimo brangala yra Manifesto "AUTO-FIX" funkcija, kuriems skirta remontuoti bresnes LLM prašymų nepavyksmų, prieš nei jie pasiekia agentą. Tai yra remontuojami tokių problemų kaip senųjų ar nepasiekičių modeliai, netiesiogiai pažyminti parametrų, neteisess prasminės užklausos, ir pravažiuotų konteksto langą problema, siekiant išvengti išsekimo ir pagerinti užklausų sėkmingumo rodiklius. Manifesto yra sudarytas remdamas sąnaudai bei prisitaikęs įvairioms anglies intelekto taikinėliams, personalinių agentų bei darbų sričių poreikiams. Jis prieinamas kaip cloudy atostogų versija bei patogus svetaininės Docker iraplavimo variantas, atspindint jo atviro kodo savybę. Šis priskyrimas labai padeda žmonėms pasiekti anglies intelektą pridėtinai pigiai bei prieinamai, nuo vienos asmenybės programuotojų iki stipriausio bendrovės, išteisindamas daugelių kaupių technologiją ir išlikti nepriklausomi nuo vieno partnerio.