ManifestReāllaika izmaksu novērošana un maršrutēšana AI iekšieriem un lietojumprogrammām, nodrošinot LLM inferences optimizāciju ar vairākiem piegādātājiem.

Manifest ir atvērtā kodeksa platforma, kuru mērķis ir palīdzēt lietotājiem vadīt un optimizēt tiesības par viņu AI noteiksmju izmaksas, piedāvājot saraksta slāni starp AI agentiem vai lietotni un dažādiem lieliem valodas modeliem (LLM). Tā risina šī veida augsto AI ražošanas izdevumu un lieli LLM pakalpojumu kompleksitātes ietvaros esošo izaudzināto priekšu — uzrādot lietotājiem kontroli pār to modelu patēriņu un izdevumu. Rīkots instruments darbojas, atļaujot lietotājiem savienot savus autoņo agentes, programmatu, vai trešo partiju virsbūves ar Manifestu. Pēc tam tie pievieno savas preferētās LLM (Language Modeling) izvāciešu sniedzēju, kas var ietvert API klucis balsojumu pakalpojumus (piemēram, OpenAI, Anthropic, Mistral), eksistējošās menstruālas abonementus (piemēram, Anthropic, GitHub Copilot), pamatīgi atjaunināmi OpenAI- vai Anthropic-patversmiegu punkti, un pat ložas modelius, kuri var būt dzīvu kāda infrastruktūras izvietotību Llama, LM Studio vai llama.cpp. Sākoties ar savienošanos ar to, Manifest tiek sāls ļauj lietotājiem definēt maršrutas noteiktus noteikumus, atlasīt specifiskus modeļus un sniedzējus cita veidā esošiem pieprasījumiem, un iestatīt aizmirsēšanu. Šis nodrošina dināmu modeļu izvēles iespēju, balstītu uz maksājumiem, efektīvumu vai pieejamību. Piemēram, tas var prioritizēt izmantojot kvotu no precēto pieejamo ieguldījuma un automātiski vēlēties izmantot pagatejošos modeļus, kad limiti pārsniegti. Tajā pat laikā platforma arī piedāvā reāla laika datu attēlojumu, ļaujot lietotājiem sekot katram dolaram, izmantotam šā atbalsta operāciju vidē, lai sekotu sevī, un sagatavojušos maksājumus, kas notiek to līdzīgi, kas parādās, kas varētu būt, kad tava maksājumi maksās ar tva. Viena no pamatpiemēriem ir "AUTO-FIX" funkcija Manifesā, kas mēģina izlabot bieži sastopamās LLM Pieprasījumu neveiksmes līdzšķiršanu pirms tās sasnieg agentu. To ietver izlabošana jebkura modela atjaunošana vai modela nespējība, nepareizi norādīti parametri, deformēts pieprasījums un pārsniedzti konteksta logu robežas, tādējādi apieto izmaksu un uzlabojot pieprasījumu noraidītāju veiktspēju. Manifest ir izvelets ar plasību kontu, atbalstot plašu vairogiem AI aplikācijām, personīgajiem agentiem un procesiem. Tā ir pieejama kā ārtspriede, lai nodrošinātu vienkāršu iespriču, vai patiesām izvietotu Docker izvērstu pieejumu, kas atspoguļo tās atvērto kodu naturu. Šī liela mēroga priekšvērtība ietver plānu, lai padarītu AI izmantošanu piesaistamo un nodrošinātu dažāduem izstrādātājiem, no individuāliem izstrādātājiem līdz nodibinātajiem uzņēmumiem, piedāvājot instrumentus, lai samazinātu izmaksas bez komprometēšanas kvalitātes vai nomainot lietotājus uz vienu izdevīgo provideru.