LangfuseOpen-source platforma pre inžinierstvo LLM, ktorá ponúka observabilitu, metriky, hodnotenia a správu promptov pre debugovanie a zlepšovanie aplikácií s veľkými jazykovými modelmi.

Langfuse je open-source platforma pre inžinierstvo LLM (Large Language Model), navrhnutá na pomoc vývojárom pri tvorbe, debugovaní a vylepšovaní AI agentov a aplikácií. Poskytuje komplexnú sadu nástrojov pre observabilitu, metriky, hodnotenia a správu promptov, čo umožňuje tímom spolupracovať a neustále zlepšovať kvalitu, náklady a latenciu AI produktov. Langfuse podporuje celý cyklus inžinierstva LLM – od prototypu po produkciu – integráciou observability, správy promptov, hodnotení, experimentov a ľudského anotovania do jedného pracovného postupu. Platforma ponúka funkcie ako hierarchické sledovanie, ktoré zachytáva každé volanie LLM, vyvolanie nástrojov a krok vyhľadávania, a umožňuje filtrovať podľa používateľa, relácie, nákladov, latencie alebo vlastných metadát. Podporuje tiež rôzne metódy hodnotenia, vrátane LLM-as-a-judge, heuristických funkcií a ľudského recenzovania. Okrem toho Langfuse poskytuje systém správy promptov s jedným kliknutím na nasadenie a spätné vyvolanie, herné prostredie na testovanie promptov a nástroje na definovanie a porovnávanie experimentov. Langfuse funguje s akýmkoľvek jazykom a rámcom, ktorý podporuje OTel instrumentáciu a má viac ako 100 integrácií s populárnymi agent rámcami, poskytovateľmi modelov a inými nástrojmi. Je to otvorená platforma s licenciou MIT, ktorá umožňuje používateľom samostatne hostovať na veľkej škále a prispievať do komunity. Langfuse používa viac ako 100 000 inžinierov a 19 spoločností z Fortune 50, spracováva viac ako 10 miliárd pozorovaní mesačne.