ManifestРеальна часова спостережність витрат і маршрутизація для агентів AI та прижиттєвих завдань, які забезпечують мульти-провайдерський оптимізація інференс-LLM.

Manifest - açık-джерелова платформа, створена для допомоги в управлінні та оптимізації витрат на виконання штучного інтелекту та управління витратами шляхом забезпечення шляхового рівня між агентами чи застосунками штучного інтелекту та різними великими мовними моделями (LLM). Вона вирішує завдання високих рахунків за користування штучним інтелектом та складності ефективного використання декількох послуг великих мовних моделей, надаючи користувачам контроль над споживанням та витратами на моделі. При роботі інструменту користувачі поєднюють свої автономні агенти, програми або сторонні обладнання з інструментом. Потім вони встановлюють власних бажаних надбудов за моделями природною мовою, які можуть включати послуги за використанням API ключів (наприклад, OpenAI, Anthropic, Mistral), наявні щомісячні підписки (наприклад, Anthropic, GitHub Copilot), спеціальні кінцеві точки сумісні з OpenAI або Anthropic, навіть локальні моделі, які працюють на власному інфраструктурному обладнанні за допомогою Ollama, LM Studio або llama.cpp. Як тільки відбувається підключення, Manifest надає користувачам можливості встановлювати правила маршрутизації, обирати особливі моделі та провайдерів для різних запитів і встановлювати резервні засоби. Внаслідок цього забезпечується динамічна вибірка моделі згідно її вартості, продуктивності чи наявності. Наприклад, вона може пріоритізувати використання квот від попередньо оплачуваної підписки та автоматично переключитися на моделі за сплатою за фактичне використання при перевищенні обмежень. Платформа також забезпечує реалістичну візуалізацію витрат в режимі реального часу, допомагаючи користувачам стежити за кожною витратою кожного долара за усі свої операції зі штучного інтелекту. Визначальної функціональностіManifest є особливий функціонал “ВІДСТРІБУТИ", який намагаєся ліквідувати загальні проблеми запиту LLM раніше, ніж вони досягнуть агента. Це включає в себе виправлення проблем такі як застарілі або недищальні моделі, неправильні параметри, порушені запити та перевищені вікні контексту, із метою попередження зупинки і поліпшення шансів вдалого виконання запиту . Manifest розроблений з урахуванням максимальної гнучкості, підтримуючи широкий спектр застосунків на основі штучного інтелекту, особистих агентів та потоків роботи. Він передбачає облаштовку як за потреби, так й самовідвідний розгортунок у Docker, що відбиває його відкритий вихід. Цей підхід має на меті зробити штучний інтелект наблиぜше до кожного користувача, від окремих розробників до встановлених підприємств, надаючи інструменти до зниження витрат без втрати якості чи закріплення користувачів за певним надавачем.