LangfuseUma plataforma de engenharia de LLM de código aberto que oferece observabilidade, métricas, avaliações e gerenciamento de prompts para depurar e aprimorar aplicações de modelo de linguagem grande...

Langfuse é uma plataforma de engenharia de LLM (Large Language Model) de código aberto projetada para ajudar desenvolvedores a criar, depurar e aprimorar agentes e aplicações de IA. Ela oferece um conjunto abrangente de ferramentas para observabilidade, métricas, avaliações e gerenciamento de prompts, permitindo que as equipes colaborem e melhorem continuamente a qualidade, o custo e a latência de seus produtos de IA. Langfuse suporta todo o ciclo de engenharia de LLM, desde o protótipo até a produção, integrando observabilidade, gerenciamento de prompts, avaliações, experimentos e anotação humana em um único fluxo de trabalho. A plataforma oferece recursos como rastreamento hierárquico, que captura cada chamada de LLM, invocação de ferramenta e etapa de recuperação, e permite filtrar por usuário, sessão, custo, latência ou metadados personalizados. Também suporta diversos métodos de avaliação, incluindo LLM-as-a-judge, funções heurísticas e revisão humana. Além disso, o Langfuse fornece um sistema de gerenciamento de prompts com implantações e rollbacks de um clique, um playground para testar prompts e ferramentas de definição e comparação de experimentos. Langfuse funciona com qualquer linguagem e framework que suporte instrumentação OTel e possui mais de 100 integrações com frameworks de agentes populares, provedores de modelos e outras ferramentas. É uma plataforma aberta com licença MIT, permitindo que os usuários façam self‑host em escala e contribuam para a comunidade. Langfuse é usado por mais de 100 mil engenheiros e 19 das empresas da Fortune 50, processando mais de 10 bilhões de observações por mês.