Observability התמודדות — 11 בינואר 2024

1

Quotient AI

מערכת משמרת זמן אמת ובדיקה לדיווח כשלי AI בחיפוש, RAG ואגנטים.

4.4 (5)

חינם

ביקורת מלאה

Quotient AI היא פלטפורמת נראות והערכה שנבנתה עבור צוותים שמשלוחים תכונות המונעות בינה מלאכותית. היא עוקבת באופן רציף אחר מערכות בינה מלאכותית בייצור - כולל חיפוש, יצירה מוגברת באחזור (RAG) וסוכנים אוטונומיים - כדי לחשוף הזיות, שגיאות אחזור ובעיות איכות אחרות לפני שמשתמשים קצה נתקלים בהן. הפלטפורמה משלבת הערכות אוטומטיות עם התראות בזמן אמת, ומסייעת לצוותים של הנדסת תוכנה ולמידת מכונה לאבחן סיבות שורש, לעקוב אחר רגרסיות בין שינויים במודל או בקידום, ולשמור על אמינות בקנה מונית. על ידי הפעלת צינורות בינה מלאכותית, Quotient מעניקה למפתחים תצוגה של האופן שבו יישומי ה- AI שלהם מתנהגים בפועל בשטח, במקום להסתמך רק על אמות מידה לא מקוונות.

• סקירת זמן-אמת AI והתרעות
• אבחנה hallucinations והתערע
• תכליות לבדיקה של RAG קווים
• ריצות ואבחנה של אגנט התקין
• אנליזת חזרה מצד model ושאלות
• סקירה-פעילות בהפצה para AI לאפליקציות

2

Weave

מבנה זרימת עבודה ללא קוד תוכנה שמאפשר לעסקיםpara automatize פעולות על ידי התבססות על מודלים רב-לשוניים (LLMs) ובאיזורה פרסומים

4.8 (5)

חינם

ביקורת מלאה

W&B Weave היא פלטפורמת תצפית והערכה המסייעת לעקוב ולשפר יישומי מודל שפה גדול (LLM). Weave מספקת כלים למעקב, איסוף מדדי ביצועים והערכת תגובות של יישומים באמצעות שופטי LLM וצורני ציון מותאמים אישית. תכונות מרכזיות כוללות מעקב אחר הפעלות, שיחות LLM ושיחות כלים, כמו גם הכנסת כלים באופן ידני של סוכנים מותאמים אישית. הפלטפורמה תומכת באינטגרציות עם SDKs פופולריים ו- Harnesses, כמו גם יכולת תצפית סוכנים מותאמת אישית. Weave מספקת ספריות Python ו-TypeScript להתקנה ושימוש בפלטפורמה. היא מתארחת על גבי Weights & Biases (W&B), ודורשת חשבון W&B ומפתח API לאימות. משתמשים יכולים לעקוב אחר שיחות ל-LLM, לבדוק תשומות ותפוקות, ולצפות במדדי סוכנים בממשק המשתמש של Weave. בעוד ש-Weave מאפשרת אוטומציה והערכה של יישומי LLM, היא אינה בונה זרימות עבודה של AI ללא קוד, כפי ששמה מרמז.

• עקוב אחר סצנות של אג'נט
• זכויות ניתוח מובנות של אג'נט
• LLM עקוב והערכה
• תמיכה OpenTelemetry
• W&B
• ספריות Python ו-TypeScript

AgentOps הוא פלטפורמה למפתחים המתמקדת במחזור החיים של סוכנים ב‑AI, ומספקת כלים למעקב, ניטור ולשחרור באגים שמגלים מה סוכנים עושים בפועל בזמן הריצה. הוא רושם קריאות ל-LLM, שימוש בכלים, עלויות ושגיאות, כך שהצוותים יוכלו להבין את ההתנהגות של הסוכן בתהליכים מורכבים של מרובה שלבים. מעבר למעקב, AgentOps מציע הצגת סשנים מחדש, ניתוח ביצועים והשתלבות עם מסגרות סוכנים פופולריות כגון LangChain, CrewAI ו-AutoGen. זה מאפשר למהנדסים להחליף את הפרוטוטיפ להפקה עם אמינות מדידה במקום להסתמך על ניחושים או על חיפוש יומנים. הפתרון מיועד למפתחים ולצוותים שמפתחי יישומים מבוססי סוכנות, אשר צריכים לעקוב אחרי רגרסיות, לשלוט בהוצאות ולהוכיח שהסוכנים שלהם פועלים כראוי לפני ואחרי הפריסה.

• שַ ֵ ע ְצֵ ַ ֵ ֱ ֲ ִ ֵ ָ ֱ ֲ ֵ ֵ ְ ּ ָ ְ ֶ
• עַ ְצֵ ַ ָ ֲ ֳ ֵ ֳ ֹ ֵ ִ ֵ ֿ ֵ ֿ ָ
• ֵב ִ ֵ ִ ֻ ֱ ֲ ֵ ַ ִ ְ ָ ֹ ֵ
• ֵ ֳ ְ ִ ֲ ֻ ְ ֹ ָ ֵ ֿ ֵ ֿ ָ
• ֵ ִ ֱ ֲ ֵ ַ ַ ֵ ֹ ֵ ֲ ֹ ֹ
• ֵ ֵ ֶ ַ ֵ ֵ ֵ ַ ִ ֵ ַ ִ

4

Confident AI

פלטפורמת הערכת LLM שנבנתה על DeepEval לבדיקה, ניטור ושיפור יישומי AI.

4.6 (5)

חינם

ביקורת מלאה

Confident AI היא פלטפורמת הערכה ומעקב לצוותים הבונים יישומי מודלים שפתיים גדולים. מופעלת על ידי מסגרת DeepEval בקוד פתוח, היא מספקת מרחב עבודה מאוחד להפעלת בנצ'מרקים, בדיקות רגרסיה ובדיקות איכות על פני הנחיות, מודלים וצינורות אחזור. הפלטפורמה עוזרת למהנדסים לזהות הזיות, רגרסיות בהנחיות וכישלונות אחזור לפני השחרור, תוך שהיא מציעה ניטור בייצור כדי לעקוב אחר אינטראקציות משתמש אמיתיות. צוותים יכולים לרכז מערכי נתונים, לשתף תוצאות בדיקה ולשנות הנחיות עם משוב מדיד ולא ניחוש. היא מיועדת למפתחים, מהנדסי ML וצוותי בקרת איכות שרוצים גישה מובנית ומונעת מדדי ל- QA של LLM ולא ביקורת ידנית אד-הוק.

• מדדי הערכה המופעלים על ידי DeepEval
• בדיקת רגרסיה להנחיות ומודלים
• הערכת RAG ואחזור
• ניטור ומעקב בייצור
• ניהול מערכי נתונים ובדיקות
• שיתוף פעולה של צוות על תוצאות הערכה

5

Fiddler AI

פלטפורמת אבטחת ומעקב בינה מלאכותית לניטור, הסבר וקפיטרור של יישומי ML ו- LLM

4.7 (6)

חינם

ביקורת מלאה

Fiddler AI היא פלטפורמת ארגונית שמסייעת לצוותים לעקוב, לנתח ולהגן על מודלים של למידת מכונה ויישומי AI גנרטיבי בתפעול. היא מספקת נראות על ביצועי המודל, הסטת נתונים, הטייה ובעיות איכות, ובמקביל מציעה אמצעי הגנה מפני סיכונים ספציפיים ל‑LLMs כגון הזיות, הזרקת פקודות ופלטים לא בטוחים. הכלי תוכנן למהנדסי ML, מדעי נתונים וצוותי סיכון וציות, Fiddler משלב הסברתיות, ניטור בזמן אמת, ומנגנוני בטיחות בתהליך עבודה אחד. הוא מתממשק עם צינורות ML נפוצים וסביבות ענן, ומסייע לארגונים ליישם פרקטיקות AI אחראיות בקנה מידה רחב.

• ניטור ביצועי מודל ונדידת נתונים
• זיהוי הזיות ובטיחות LLM
• הגנה מפני הזרקת הנחיה ופריצת כלא
• AI מוסבר וניתוח שורש
• הערכות הטיה והוגנות
• לוחות בקרה והתראות עבור AI בייצור

6

Portkey

מערכת שרת-בר המאפשרת ניהול כלי בנייה, ניהול ומנוי יאי

4.4 (5)

חינם

ביקורת מלאה

Portkey היא מערכת שרת-בר רשמית עבור בניית, ניהול והעקבה של יאי. היא מספקת מערכת רחבת-תווך לקבוצות יאי לעבור לייצור, כולל תכונות כגון AI Gateway, Observability, Guardrails, Governance, ו- Prompt Management. המערכת מאצלת באמצעות API מאוחד לגישה ישירה ל-1800 LLMs, עוזרת לשיפר את תהליך החברה באמצעות API ואפשרת לקבוצות להתמקד בבנייה ולא בניהול. Portkey מציע ניהול מיידי, המאפשר למשתמשים למנוע ולתפוס שאיבות מוקדם, מאפשרת ניהול שימושים פרואקטיבי. נוסף על זה, המערכת מספקת תכונות לאחסן קכייז' מחדש, , המציג 150000 יאי שנמשכים יומנית.

• Gateway AI עם הגייה של הגייה
• Prompt management - management- versioning
• Logi - - traces, - - analytics
• Semantic caching - retries
• Guardrails - input output validation
• Dashboards לשלב וציית עם - monitoring- ]

7

Relari (YC W24)

תפיסה, הערכה וייצור נתונים סינתטיים לאגנטי AI

4.3 (6)

חינם

ביקורת מלאה

Relari היא פלטפורמה למפתחים המתמקדת בשיפור מהימנותם של סוכני AI באמצעות בדיקה והערכה שיטתיים. היא עוזרת לצוותים ליצור מערכי נתונים סינתטיים, לבצע הערכות אוטומטיות ולמדוד את ביצועי הסוכנים במגוון תרחישים מציאותיים לפני הפצה לייצור. בגיבוי של Y Combinator (W24), רלרי מתמקדת בצוותים הנדסיים הבונים יישומי LLM מורכבים וסוכנים רב-שלביים שבהם בקרת האיכות המסורתית אינה מספיקה. הכלים שלה שואפים להביא קפדנות של הנדסת תוכנה - בדיקות יחידה, בדיקות רגרסיה ומדדים ניתנים למדידה - למערכות AI לא דטרמיניסטיות. הפלטפורמה תומכת במעריכים מותאמים אישית, הדמיית תרחישים ומעקב רציף, מה שהופך אותה לשימושית הן לאימות טרום-השקה והן להבטחת איכות שוטפת של סוכנים בייצור.

• ייצור את אסמבלים סינתטיים
• הערכה בבירוקרטיה של האגנטים
• אימולירת סצנריות ושיחות
• מדדי ביקורת-הערכה ניתנת להגדרה
• תביר-השוואה-הדדיה לרכזי LLM
• איפוסד מדדים ודיווחי ביצוע

8

Arize AI

מלרכז הערכת LLM ועריכת תצפיות AI שמורכז לסיוע AI ומדעני נתונים במעקב, בתיקון ובקידום ביצועי...'

4.3 (6)

פרימיום חינמי

ביקורת מלאה

Arize AI היא פלטפורמת תצפית על AI והערכת LLM. היא מסייעת למפתחים של AI ולמדעני נתונים במעקב, באיתור תקלות ובשיפור ביצועי המודלים שלהם. הפלטפורמה מספקת כלים לזיהוי בעיות והצעת תיקונים, מה שמאפשר למשתמשים לשפר את הדיוק והאמינות של המודלים שלהם. Arize AI מיועדת למפתחים של AI ולמדעני נתונים שצריכים למטב את ביצועי המודלים שלהם. יכולות הפלטפורמה כוללות ניטור ואיתור תקלות, המאפשרים למשתמשים לזהות ולטפל בבעיות במהירות. בנוסף, Arize AI מציעה תכונות להערכת ושיפור ביצועי המודלים, ומאפשרת למשתמשים ללטש את המודלים שלהם עם הזמן. באמצעות Arize AI, משתמשים יכולים לוודא שהמודלים שלהם פועלים בתפוקה מרבית, מה שמוביל לקבלת החלטות טובה יותר ותוצאות משופרות. המיקוד של הפלטפורמה על תצפית והערכה מבדיל אותה משאר כלי פיתוח ה‑AI, והופך אותה למשאב בעל ערך למי שעובד עם מודלים של שפה גדולים ומערכות AI מורכבות.

• מעקב אחרי מודלי AI
• איתור ותיקון בעיות
• הצעת תיקונים
• הערכת ביצועי המודל
• הערכת ואופטימיזציית LLM

9

Edwin AI

סוכן AI למבצעי IT שמאיץ את גילוי התקלות, הטריאז' והפתרון.

4.7 (6)

חינם

ביקורת מלאה

Edwin AI הוא סוכן AI למבצעי IT שתוכנן להאיץ את גילוי התקלות, הטריאז' והפתרון. הוא מספק פלטפורמה מרכזית לצוותי IT לחקור תקלות, להבין את השפעתן, למצוא או ליצור פתרונות וליישמם בכלים קיימים ללא צורך לעבור בין מערכות. Edwin AI משווה התראות, מזהה גורמים מקוריים ומפעיל תיקונים אוטומטית, החל מההתראה הראשונה ועד לפתרון מאומת. הוא משתמש בנתוני היסטוריה ונתוני תצפית כדי לחזות ולמנוע הפסקות. הכלי משולב עם למעלה מ-3,000 כלים בתחומי תצפית, APM, ביטחון ו-CMDB, מה שמאפשר תובנות בזמן אמת ופעולה ומבטל סילואים. מחקר של Forrester מצא כי Edwin AI הניב רווח של 313% עבור ארגון מורכב, עם תקופת החזר על ההשקעה של 6 חודשים או פחות.

• שילוב התראות והפחתת רעש
• הצעות גורמים מקוריים בניהול AI
• סיכום תקלות בשפה טבעית
• שילובים עם פלטפורמות ITSM ותצפית
• זרימות טריאז' אוטומטיות
• עשרת ידע מתקלות קודמות

10

FoundryAI

בנה, הערך והשבח סוכני AI לאוטומציה עסקית

4.8 (4)

חינם

ביקורת מלאה

FoundryAI היא פלטפורמת פיתוח המתמקדת ביצירת סוכני AI שמטפלים בתהליכים עסקיים אמיתיים. היא משלבת כלים לעיצוב סוכנים, בדיקה ושיפור מתמשך, כך שהצוותים יכולים לעבור מהאבטיפוס לייצור מבלי לחבר בין מערכות נפרדות. הפלטפורמה מתמקדת בהערכת ביצועים, ומספקת למפתחים דרכים למדוד את ביצועי הסוכן מול משימות מוגדרות ולשפר את ההתנהגות לאורך זמן. זה עושה אותה מתאימה לארגונים שמאצלים תמיכת לקוחות, תפעול פנימי, או עבודה חזרתית של ידע שבה האמינות חשובה. FoundryAI מכוונת צוותים טכניים שצריכים יותר שליטה ממה שמציעים בנאי‑ללא‑קוד, אך רוצים איטרציה מהירה יותר מאשר בניית סוכנים מהיסוד.

• סביבת בניית סוכנים
• כלי הערכה ובדיקה
• ניטור ביצועים
• תמיכה באוטומציה של זרימות עבודה
• לולאות שיפור איטרטיבי
• שילוב עם מערכות עסקיות