ManifestObserwowalność i routing kosztów w czasie rzeczywistym dla agentów AI i aplikacji, umożliwiający optymalizację wnioskowania LLM z wielu dostawców.

Manifest jest otwartoźródłową platformą opracowaną w celu pomocy użytkownikom zarządzania i optymalizowania ich kosztów przerobu danych wywoławczych AI udostępniając warstwę routingu pomiędzy agendami lub aplikacjami AI a różnymi dostawcami modeli języka wielkiej skali (LLM). Zamierza rozwiązać problem wysokich rachunków za AI i złożoności efektywnego korzystania z wielu usług LLM pozwala użytkownikom na kontrolę nad zużywaniem modeli i wydatkami. Opracowanie narzędzia odbywa się poprzez umożliwienie użyciu przez użytkowników swoich autonomowych agentów, aplikacji lub trzecich dostawców do Manifest. Następnie dodają swoich preferowanych dostawców LLM, których może obejmować usługi oparte na kluczu API (jak OpenAI, Anthropic, Mistral), istniejące subskrypcje na miesiąc (np. Anthropic, GitHub Copilot), wewnętrzne punkty końcowe kompatybilne z OpenAI lub Anthropic, a nawet modele lokalne działające na infrastrukturze osobistej za pomocą Ollama, LM Studio, czy llama.cpp. Po zalogowaniu w Manifest'u użytkownicy mogą określić reguły routingu, wybrać specyficzne modele i dostawców dla różnych zapytań, a także skonfigurować fallbacki. Umożliwia to podejmowanie dynamicznych podejść do wyboru modeli, opartych na kosztach, wydajności czy dostępności. Na przykład można zdecydować się korzystać z kwot z przedpłaconej subskrypcji, a następnie automatycznie wrócić do modeli "za ucieczkę" w chwili przekroczenia ograniczeń. Dostępna jest także wizualizacja rzeczywistego wydatku, która pozwala użytkownikom na śledzenie wszystkich wydanymi dolarów w trakcie obsługi operacji AI. Wyróżniającą funkcjonalność stanowi zdolność "AUTO-FIX" Manifest, która próbuje skutecznie naprawiać powszechne błędy w żądaniach LLM przed dotarciem do agenta. Obejmuje to naprawianie problemów dotyczących modeli nieużywanych lub niedostępnych, parametrów błędnych, zniekształconych żądań i przekroczonych okienek kontekstu, w celu zapobiegania przestojom i poprawy stawek sukcesu w realizowaniu żądań. Zaprojektowany z myślą o elastyczności, Manifest wspiera szeroki zakres aplikacji AI, agentów personalnych oraz procesów pracy. Jest dostępny jako wersja chmurowa dla łatwiejszego włączania się oraz w formie samodzielnego rozwiązania Docker, co odbiega od natury open-source. Ten kierunek ma na celu uczynić AI bardziej dostępną i niedrogą, od indywidualnych deweloperów po ustabilizowane firmy, poprzez oferowanie narzędzi redukujących koszty bez kompromisu w zakresie jakości lub blokowania użytkowników do jednego dostawcy.