LangfusePiattaforma open-source per l'ingegneria di modelli linguistici con osservabilità, metriche, valutazioni ed amministrazione di query per sviluppare e migliorare grandi applicazioni di modelli linguistici.

Langfuse è una piattaforma di ingegneria del modello linguistico ad ampio raggio (LLM) open-source progettata per aiutare i developer a costruire, a debuggere e a migliorare gli agenti e le applicazioni AI. Fornisce un insieme di strumenti esaustivi per l'osservazione, i metri, le valutazioni e la gestione delle richieste, consentendo ai team di collaborare e migliorare in continuazione la qualità, il costo e la latency dei prodotti AI. Langfuse supporta l'intero ciclo di ingegneria LLM, dalla prototipazione alla produzione, integrando osservabilità, gestione delle richieste, valutazioni, esperimenti e annotazione umana in un flusso di lavoro unico. La piattaforma offre funzionalità come tracciamento gerarchico, che cattura ogni chiamata LLR, invocazione di strumenti e ogni passaggio di recupero dei dati, e consente di filuire con criteri quali utente, sessione, costo, latenza o metadati personalizzati. Inoltre, appoggia metodi di valutazione diversi, inclusi LLR come giudice, funzioni heuristiche e revisione umana. Inoltre, Langfuse fornisce un sistema di gestione dei prompt con deploy un click e rollback, un playground per il test dei prompt e strumenti di definizione e confronto di esperimenti. Langfuse opera con qualsiasi lingua e framework che supporta l'instrumentazione OTel ed ha più di 100 integrazioni con popolari framework degli agenti, provider di modelli e altre attività. È una piattaforma aperta con licenza MIT, che consente agli utenti di ospitare su larga scala e partecipare alla community. Langfuse è utilizzato da oltre 100.000 ingegneri e 19 delle Fortune 50 aziende, che gestiscono oltre 10 miliardi di osservazioni al mese.