ManifestВремева наблюдение и маршрутизация на стойността за АИ агентите и приложенията, което осигурява оптимизация на провайдъра за извлечени от ЛЛМ.

Manifest е открито-кодова платформа за улеснение на управлението и оптимизирането на разходите за инференцията на AI чрез предоставяне на слой за рутинг между AI агенти или приложения и различни провайдъри на големи езикови модели (LLM). Проявява се като решителство на проблемите с високите рахта за AI и сложността в ефективния използуван на множество услуги LLM чрез предоставяне на потребителите контрол над използването и разходите за моделита. Уебдевът работи чрез позволяването на потребителите да свържат свои самостоятелни агенти, приложения или трети странични връзки със сценария на Manifest. Те след това добавят своите предпочитани услуги на базата на API ключове на LLM-то (например, OpenAI, Anthropic, Mistral), съществуващи месечни подписки (например, Anthropic, GitHub Copilot), кастомни конечни точки пригодени за OpenAI или Anthropic и дори млади модели извършващи работа в местна инфраструктура чрез Ollama, LM Studio или llama.cpp. След като се излезе свързани, Manifest позволява потребителите да определят правила за маршрутизация, да избират конкретни модели и източници за различни изисквания и да настроите резервни варианти. Това позволява на потребителите да определят динамично избирането на модели в зависимост от цена, производителност или достъпност. Например, то може да установи приоритета на използването на квоти от пре-платен абонамент и автоматично да спре използването на моделите „заварък“ когато се предизвика границата им. Платформата също така предлага реално-временска визуализация на разходите, помагайки потребителите да следят всеки долар изразходван по целия им спектър от изчислителни операции. Изразителна способност е особеността Manifest е създаден с ума на мекост, полагайки голяма грижа за широк спектър от приложения с AI, лични агенти и потоци на дейности. Той е наличен като облачна версия за улеснение на регистрацията или като локално разположение с Docker, отразяващ неговият отворен код. Идеята е да прави AI-та по-различна и достъпна, от индивидуални разработчици до съществуващи компании, като предлага инструменти за намаляване на разходите без да пренебрегва качеството или да връзва потребителите към един провайдър.