ManifestTekoäly-agenttien ja sovellusten ajan tasaiset kustannustietojen havaitseminen ja ohjaus LLM-indeksointiongelmien optimointi tukemiseksi usealla tuotannossa.

Manifest on avoimen lähdekoodin alustan, joka tarkoittaa auttaa käyttäjiä hallitsemaan ja optimoimaan heidän AI-erottamisperustoja kutsuessaan avoimen välivarjon LLM-palveluiden kuten AI-agenttien tai sovellusten välitse. Alusta ratkaisee haasteita, joilla AI-tiliisiä ja niiden käytön moninaisten LLM-palveluiden syytä on vaikea hallita yhden otteen mukainen, saa käyttäjinä ohjatusti käyttämään mallejaan ja maksamassa niitä. Työkalu toimii siten, että käyttäjät voivat liittää omat autonomiset agentit, sovellukset tai kolmannen osapuolen kiinnitykset Manifestiin. He sitten lisäävät haluamansa LLM-palveluntarjoajat, joihin kuuluvat API-avaimensa palveluit (kuten OpenAI, Anthropic, Mistral), olemassa olevat kuukausihintaan maksettavat tilaukset (esim Anthropic, GitHub Copilot), kustomoidut OpenAI- tai Anthropic- yhteensopivat päätepisteet sekä paikalliset mallit, jotka käynnistyvät kuten henkilökohtainen laajakaistatyökalu Ollama, LM Studio tai Llama.cpp. Kun sovellus on kytketty, Manifest auttaa käyttäjiä määrittelemään reitittävät säännöt, valitsemaan erilaisia mallia ja toimittajia eri kyselyihin ja määrittelemään varalla olevat vaihtoehdot. Tämä mahdollistaa dynaamisen mallin valinnan perusteella kustannusten, tarkkuuden tai saatavuuden perusteella. Esimerkiksi sovellus voi priorisoida käyttämään etukäteen maksettavia tilauksia ja automaattisesti palata maksuaikataulun malleihin kun rajoitukset ylittyvät. Alustakin tarjoaa reaaliaikaisen visualisoinnin kulujen edellyttämällä, auttaen käyttäjiä seuraamaan kaikkia dollarin jaoksia heidän AI-toiminnan yhteydessä. Yksi manifesttien erityisominaisuuksista on 'AUTO-FIX' -toiminnallisuus, joka yrittää korjata yleisiä virheitä ennakoivasti LLM-pyyntöjen kohdalla, ennen kuin ne pääsevät edes kehykseen. Tämä sisältää muun muassa vanhentuneiden tai löytymättömien mallien, väärän parametriarvon, muotoiltujen pyyntöjen ja rajoitettujen kohteen ikkunoiden kohdalla, pyrkimyksen estää yhteyden menetys ja parantaa pyyntöiden onnistumisprosentteja. Manifest on suunniteltu tarpeen mukaan ketteräksi, tukevaksi laajaan moneen AI-tarkoitukseen, henkilökohtaihin agentteihin ja työtiloihin. Se on saatavana pilveen perustuvana asennuksena helpottakseen siirtymää, tai omakäyttöinen Docker-asennus, joka peilaa sen avoimuutta. Tämä lähestymistapa pyrkii tekemään AI:ta halvemmaks ja edullisemmaksi, yksittäisille kehittäjille kuin jo aloittaneille yrityksille, tarjoamalla työkaluja, jotka vähentävät kustannuksia ilman, että laatua heikennetään tai käyttäjät sidotaan yhteen tarjoajahan.