ManifestReal-time cost observability a routování pro AI agenty a aplikace, které umožňují-multi-provider LLM inference optimization.

Manifest je open-source platforma navržená tak, aby uživatelům pomohla spravovat a optimalizovat jejich náklady na inference umělé inteligence tím, že poskytuje směrovou vrstvu mezi agenty nebo aplikacemi umělé inteligence a různými poskytovateli velkých jazykových modelů (LLM). Řeší problém vysokých účtů za umělou inteligenci a složitost účinného využívání více služeb LLM tím, že uživatele uvádí do kontroly nad spotřebou a výdaji modelů. Tento nástroj funguje tak, že umožňuje uživatelům připojit své autonomní agenty, aplikace nebo rozhraní třetích stran k Manifestu. Poté přidají své preferované poskytovatele LLM, což může zahrnovat služby založené na API klíčích (jako OpenAI, Anthropic, Mistral), existující měsíční předplatná (např. Anthropic, GitHub Copilot), vlastní koncové body kompatibilní s OpenAI nebo Anthropic a dokonce lokální modely spuštěné na osobní infrastruktuře pomocí Ollama, LM Studio nebo llama.cpp. Po připojení umožňuje Manifest uživatelům definovat směrovací pravidla, vybírat konkrétní modely a poskytovatele pro různé dotazy a nastavovat záložní možnosti. To umožňuje dynamický výběr modelu na základě nákladů, výkonu nebo dostupnosti. Může například upřednostňovat využití kvót z předplaceného předplatného a automaticky přecházet na modely placené podle použití, když jsou limity překročeny. Platforma také nabízí vizualizaci výdajů v reálném čase, která pomáhá uživatelům sledovat každou vynaloženou dolaru napříč jejich AI operacemi. Výraznou schopností je funkce Manifestu 'AUTO-FIX', která se snaží napravit běžné chyby požadavků LLM předtím, než vůbec dosáhnou agenta. To zahrnuje opravu problémů, jako jsou zastaralé nebo nenalezené modely, špatné parametry, špatně formulované požadavky a překročené kontextové okna, aby se předešlo výpadkům a zlepšila úspěšnost požadavků. Manifest je vyvinut s ohledem na flexibilitu a podporuje širokou škálu AI aplikací, osobních agentů a pracovních postupů. Je k dispozici jako cloudová verze pro snadné nasazení nebo jako self-hostované Docker nasazení, což odráží jeho open-source povahu. Tento přístup si klade za cíl učinit AI dostupnější a cenově dostupnější pro individuální vývojáře i velké podniky, a to nabídkou nástrojů, které snižují náklady bez kompromisů v kvalitě nebo bez vázání uživatelů na jednoho poskytovatele.