ManifestReaalajas kulude jälgitavus ja marsruutimine AI agentidele ja rakendustele, võimaldades mitme pakkuja LLM järelduste optimeerimist.

Manifest on avatud lähtekoodiga platvorm, mis on loodud selleks, et aidata kasutajatel hallata ja optimeerida oma AI järelduskulusid, pakkudes marsruutimiskihti AI agentide või rakenduste ja erinevate suurte keelemudelite (LLM) pakkujate vahel. See lahendab kõrgete AI arveprobleemide ja mitme LLM teenuse tõhusa kasutamise keerukuse, asetades kasutajad kontrolli oma mudeli tarbimise ja kulutuste üle. Vahend töötab, võimaldades kasutajatel ühendada oma autonoomseid agente, rakendusi või kolmanda osapoole harnasse Manifestiga. Seejärel lisavad nad oma eelistatud LLM-i teenusepakkujaid, kuhu võivad kuuluda API-võtmepõhised teenused (nagu OpenAI, Anthropic, Mistral), olemasolevad igakuised tellimused (nt Anthropic, GitHub Copilot), kohandatud OpenAI- või Anthropic-ühilduvad lõpppunktid ja isegi kohalikud mudelid, mis töötavad personaalsel infrastruktuuril Ollama, LM Studio või llama.cpp kaudu. Kui ühendus on loodud, võimaldab Manifest kasutajatel määratleda marsruutimise reegleid, valida erinevate päringute jaoks spetsiifilisi mudeleid ja pakkujaid ning seadistada varukoopiaid. See võimaldab dünaamilist mudeli valimist vastavalt maksele, jõudlusele või saadavusele. Näiteks võib see seada prioriteediks ettetasutud tellimuse kvootide kasutamise ja automaatselt üle minna maksmise-mudeli järgi, kui limiidid ületatakse. Platvorm pakub ka reaalajas kulutuste visualiseerimist, aidates kasutajatel jälgida iga kulutatud dollarit oma AI-operatsioonides. Eriline võime on Manifesti "AUTO-FIX" funktsioon, mis üritab parandada levinud LLM-i päringute tõrkeid enne, kui need jõuavad agendini. See hõlmab selliste probleemide parandamist nagu aegunud või mitteleitud mudelid, valed parameetrid, valevormingus päringud ja ületatud kontekstiaknad, eesmärgiga vältida seisakuid ja parandada päringute edukuse määra. Manifest on loodud paindlikkuse mõttes, toetades laia valikut AI rakendusi, personaalseid agente ja töövooge. See on saadaval pilvversioonina hõlpsaks kasutuselevõtuks või iseseisvalt hostitud Docker'i juurutamisena, peegeldades selle avatud lähtekoodi olemust. See lähenemine eesmärk on muuta AI taskukohasemaks ja kättesaadavamaks, alates üksikutest arendajatest kuni väljakujunenud ettevõteteni, pakkudes tööriistu kulude vähendamiseks ilma kvaliteeti kahjustamata või kasutajaid üheainsa teenusepakkuja külge lukustamata.