LangfuseUne plateforme d'ingénierie LLM open-source offrant de l'observabilité, des métriques, des évaluations et une gestion de prompt pour déboguer et améliorer les applications de grand modèle de langage...

Langfuse est une plateforme d'ingénierie LLM (Large Language Model) open-source conçue pour aider les développeurs à créer, déboguer et améliorer les agents et applications d'IA. Elle fournit un ensemble complet d'outils pour l'observabilité, les métriques, les évaluations et la gestion des invites, permettant aux équipes de collaborer et d'améliorer continuellement la qualité, le coût et la latence de leurs produits d'IA. Langfuse prend en charge l'ensemble du cycle d'ingénierie LLM, de la prototyper à la production, en intégrant l'observabilité, la gestion des invites, les évaluations, les expériences et l'annotation humaine dans un seul flux de travail. La plate-forme offre des fonctionnalités telles que la traçabilité hiérarchique, qui capture chaque appel LLM, invocation d'outil et étape de récupération, et permet un filtrage par utilisateur, session, coût, latence ou métadonnées personnalisées. Elle prend également en charge diverses méthodes d'évaluation, notamment LLM-as-a-judge, des fonctions heuristiques et l'examen humain. De plus, Langfuse fournit un système de gestion des invites avec des déploiements et des rollbacks en un clic, un terrain de jeu pour tester les invites, ainsi que des outils de définition et de comparaison d'expériences. Langfuse fonctionne avec n'importe quel langage et framework qui prend en charge l'instrumentation OTel et compte plus de 100 intégrations avec des frameworks d'agents populaires, des fournisseurs de modèles et d'autres outils. Il s'agit d'une plateforme ouverte sous licence MIT, permettant aux utilisateurs de l'héberger en toute autonomie à grande échelle et de contribuer à la communauté. Langfuse est utilisé par plus de 100 000 ingénieurs et 19 des entreprises du classement Fortune 50, gérant plus de 10 milliards d'observations par mois.