ManifestOsservabilità dei costi in tempo reale e routing per agenti di intelligenza artificiale e applicazioni, abilitando l'ottimizzazione dell'inferenza degli LM multiprovider.

Manifest è una piattaforma open-source progettata per aiutare gli utenti a gestire e ottimizzare i costi di inferenza dell'intelligenza artificiale, fornendo uno strato di routing tra agenti o applicazioni AI e vari fornitori di modelli linguistici di grandi dimensioni (LLM). Affronta la sfida delle elevate fatture AI e della complessità dell'utilizzo efficiente di più servizi LLM, mettendo gli utenti al controllo del consumo e della spesa dei modelli. Lo strumento funziona consentendo agli utenti di collegare i loro agenti autonomi, applicazioni o sistemi di terze parti a Manifest. Possono quindi aggiungere i loro provider LLM preferiti, che possono includere servizi basati su chiavi API (come OpenAI, Anthropic, Mistral), abbonamenti mensili esistenti (ad esempio Anthropic, GitHub Copilot), endpoint personalizzati compatibili con OpenAI o Anthropic e persino modelli locali in esecuzione su infrastrutture personali tramite Ollama, LM Studio o llama.cpp. Una volta connesso, Manifest consente agli utenti di definire regole di routing, selezionare modelli e provider specifici per query diverse e configurare fallback. Ciò consente la selezione dinamica del modello in base al costo, alle prestazioni o alla disponibilità. Ad esempio, può dare priorità all'uso di quote da una sottoscrizione prepagata e passare automaticamente a modelli pay-as-you-go quando vengono superati i limiti. La piattaforma offre anche una visualizzazione in tempo reale della spesa, aiutando gli utenti a tenere traccia di ogni dollaro speso nelle loro operazioni di intelligenza artificiale. Una capacità eccezionale è la funzione 'AUTO-FIX' di Manifest, che tenta di risolvere i comuni errori di richiesta LLM prima che raggiungano l'agente. Ciò include la correzione di problemi come modelli deprecati o non trovati, parametri errati, richieste malformate e finestre di contesto superate, con l'obiettivo di prevenire tempi di inattività e migliorare i tassi di successo delle richieste. Manifest è stato progettato pensando alla flessibilità, supportando un'ampia gamma di applicazioni AI, agenti personali e flussi di lavoro. È disponibile in una versione cloud per una facile integrazione o in un deployment Docker self-hosted, riflettendo la sua natura open-source. Questo approccio mira a rendere l'AI più accessibile e conveniente, dagli sviluppatori individuali alle grandi aziende, offrendo strumenti per ridurre i costi senza compromettere la qualità o vincolare gli utenti a un singolo fornitore.