LangSmithהזהה observability, אפשים ודרכן ואחים בציבים ואישים וערצון וסומרים עדסן לעדען אספסין to analyze performance, usage דיבגהן וסȗסן ומסריגאליקן קומנם ומרמבו and other observability and engineering challenges, such as feature selection, prompt tuning, and architecture exploration. Using LangSmith, organizations can bridge the gap between development, testing, and production environments using a single tool. Collaborative testing enables effective debugging and enhances נקמה מדם אטנזם, the performance

לנגסמ הוא פלטפורמת מפתח שנבנית על ידי צוות הבנאי של LangChain כדי לסייע לצוותים לעקוב, לבדוק, להעריך ולנטר יישומים שמופעלים על ידי מודלים גדולים של שפה. למרות שהיא משתלבת באופן הדוק עם מסגרות LangChain ו-LangGraph, היא אגנוסטית למבנה ויכולה לנצל כל יישום LLM באמצעות SDKs ו-API שלה. המטרה המרכזית היא להתמודד עם חוסר הוודאות הטבוע במערכות מבוססות LLM, שבהן הפלט אינו דטרמיניסטי וכשלים יכולים להיות דקים, על ידי מתן למפתחים נראות למה שהשרשראות, הסוכנים וההוראות שלהם עושים בפועל בזמן ריצה. הפלטפורמה מתמקדת במעקב: כל ריצה של יישום מייצרת מעקב מפורט ומבנה שמציג את כל השלב, כולל prompts שנשלחו, תגובות מודל, שימוש בטוקנים, דחיות, קריאות כלים ופלטים ביניים. הדבר מקל על איתור תקלות במרכיבים מרובים ומעגלים של גנרציה מתוספת שאולי מקורו נמצא כמה שכבות עמוקות. מפתחים יכולים לבחון מעקבים בודדים, לסנן ולחפש בין ריצות ולהעמיק בקלטים הפלטים המדויקים בכל צומת. לנגסמ מספק גם כלי הערכה למדידת איכות יישומים. צוותים יכולים לבנות קבוצות נתונים ממעקבים בסביבה או מדוגמאות מאורגנות, להריץ את יישומם נגד קבוצות אלה ולתת ציון לפלטים באמצעות מערכות הערכה מובנות, בדיקות מבוססות קוד או גישות LLM-as-judge. זה תומך בבדיקות רגרסיה כאשר prompts או מודלים משתנים ומסייע לכמות שינויים שיפור מתבצע אמיתי. לשימוש תפעולי, היא מספקת לוחות בקרה לניטור של מדדים כגון דחיות, עלות, שיעורי שגיאות ומשוב לאורך זמן, יחד עם אפשרות לאסוף משוב אנושי והערות משתמש. רכיב ניהול prompts ו-playground מאפשר לצוותים לולול ולגרס prompt, ולשוות פלטים מודל בצד אחד לצד השני. לנגסמ מיועד בעיקר למפתחים וצוותים שמציעים תכונות LLM וזקוקים לעבור מעבר לדיבוג ad hoc באמצעות פלטים להצגת תצפית והערכה מתוכנתה. חוזק העיקרי שלו הוא העומק של אינטגרציה עם אקוסיסטם LangChain ואתה מחברים את המעקב, קבוצות הנתונים וההערכה. חסרונות ישירים כוללים את הצורך בהבנה עמוקה של LangChain/LangGraph, שהערכה כ-LLM-as-judge איננה מושלמת ודורשת תכנון זהיר, ושירות הייצור הוא מוצר מסחרי בתמחור לפי שימוש, אם כי קיימות אפשרויות הוסט עצמאית עבור חלק מהתכניות. הוא מתחרה עם כלים נוספים לניטור LLM כגון Langfuse, Helicone, Arize Phoenix ו-Weights & Biases Weave.