קרב קודם · 2025-12-21 UTC
Observability התמודדות — 21 בדצמבר 2025
מקטגוריית Observability. 39 סימונים הוצבו על פני 10 לוחמים. AI2AI project זכה בכתר.
הדירוג הסופי
ההרכב
הלוחמים
פרופילים של כל כלי שהשתתף בקרב הזה, ממוין לפי הציון הסופי.
באתר של פרויקט AI2AI, משתמשים יכולים לצפות בשיחות בזמן אמת בין שני סוכני AI. כדי להתחיל אינטראקציה, משתמשים חייבים ליצור שני ישויות, להקצות להם הנחיה, הקשר, קול ומין, ולבחור מודל שפה. ניתן להתחיל, לשמור ולשתף את האינטראקציה עם משתמשים אחרים באתר. דוגמאות אינטראקציות מסופקות, המראות תרחישים שונים, כגון פיתוי, כעס, סקרנות והצעות מכירה. משתמשים חדשים צריכים להירשם ולקבל $1 זיכוי כדי לחקור את הפלטפורמה. התמחור מבוסס על תעריף לדקה, החל מ-1 סנט לדקה.
חלוקת קריטריונים
- צפייה בשיחה ישירה בין AI ל-AI
- שני ישויות AI שונות בשיחה
- חווית משתמש ללא מגע
- הדגמת התנהגות AI מתעוררת
- ממשק מבוסס דפדפן נגיש
Confident AI היא פלטפורמת הערכה ומעקב לצוותים הבונים יישומי מודלים שפתיים גדולים. מופעלת על ידי מסגרת DeepEval בקוד פתוח, היא מספקת מרחב עבודה מאוחד להפעלת בנצ'מרקים, בדיקות רגרסיה ובדיקות איכות על פני הנחיות, מודלים וצינורות אחזור. הפלטפורמה עוזרת למהנדסים לזהות הזיות, רגרסיות בהנחיות וכישלונות אחזור לפני השחרור, תוך שהיא מציעה ניטור בייצור כדי לעקוב אחר אינטראקציות משתמש אמיתיות. צוותים יכולים לרכז מערכי נתונים, לשתף תוצאות בדיקה ולשנות הנחיות עם משוב מדיד ולא ניחוש. היא מיועדת למפתחים, מהנדסי ML וצוותי בקרת איכות שרוצים גישה מובנית ומונעת מדדי ל- QA של LLM ולא ביקורת ידנית אד-הוק.
חלוקת קריטריונים
- מדדי הערכה המופעלים על ידי DeepEval
- בדיקת רגרסיה להנחיות ומודלים
- הערכת RAG ואחזור
- ניטור ומעקב בייצור
- ניהול מערכי נתונים ובדיקות
- שיתוף פעולה של צוות על תוצאות הערכה
KeywordsAI היא פלטפורמה המיועדת למפתחים המאגדת את הכלים הדרושים לפריסת יישומי LLM ברמת ייצור. היא מספקת שער API יחיד לגישה למספר ספקי מודלים, יחד עם תכונות מובנות של observability, logging והערכה, כדי לסייע לצוותים להבין כיצד תכונות ה‑AI שלהם מתפקדות בעולם האמיתי. הפלטפורמה נועדה להפחית את העומס התפעולי של ניהול מוצרי LLM. המפתחים יכולים לנטר את זמן ההמתנה והעלות, לבצע דיבוג של פרומפטים, לערוך הערכות ולנהל גרסאות של פרומפטים מבלי להרכיב יחד כלים נפרדים. זה מקל על צוותי ההנדסה לאיטרציה על תכונות AI ולשמור על אמינות כאשר השימוש גדל.
חלוקת קריטריונים
- שער גריד תאים יחידי ל-LLM
- דיווחי בקשות ואיתור
- הסתננות שכר ודליקיות
- ניסויי ׳קרשי' ושליטה במהדורות
- זרמי עבירה ובדיקה
- אינטגרציות SDK ו-API
Edwin AI הוא סוכן AI למבצעי IT שתוכנן להאיץ את גילוי התקלות, הטריאז' והפתרון. הוא מספק פלטפורמה מרכזית לצוותי IT לחקור תקלות, להבין את השפעתן, למצוא או ליצור פתרונות וליישמם בכלים קיימים ללא צורך לעבור בין מערכות. Edwin AI משווה התראות, מזהה גורמים מקוריים ומפעיל תיקונים אוטומטית, החל מההתראה הראשונה ועד לפתרון מאומת. הוא משתמש בנתוני היסטוריה ונתוני תצפית כדי לחזות ולמנוע הפסקות. הכלי משולב עם למעלה מ-3,000 כלים בתחומי תצפית, APM, ביטחון ו-CMDB, מה שמאפשר תובנות בזמן אמת ופעולה ומבטל סילואים. מחקר של Forrester מצא כי Edwin AI הניב רווח של 313% עבור ארגון מורכב, עם תקופת החזר על ההשקעה של 6 חודשים או פחות.
חלוקת קריטריונים
- שילוב התראות והפחתת רעש
- הצעות גורמים מקוריים בניהול AI
- סיכום תקלות בשפה טבעית
- שילובים עם פלטפורמות ITSM ותצפית
- זרימות טריאז' אוטומטיות
- עשרת ידע מתקלות קודמות
Future AGI היא פלטפורמה המשפרת את דיוק ה‑AI באמצעות כלי הערכה ואופטימיזציה מקיפים. היא מאפשרת למשתמשים לבנות סוכנים מתחדשים בעצמם, ללכוד תקלות ולהבין את הסיבה. הפלטפורמה מציעה מגוון תכונות, כולל הערכת סוכנים, אופטימיזציה ושיחות מדומות. משתמשים יכולים ליצור ולנהל תרחישים, והפלטפורמה מספקת ניתוחים וכלי אופטימיזציה לשיפור ביצועי הסוכן. Future AGI נראה מיועד למפתחים ולעסקים המעוניינים לפרוס צ'אטבוטים וסוכנים מבוססי AI. הוא מאפשר למשתמשים לדמות שיחות, להעריך ולשפר את ביצועי הסוכנים, ולהשתלב עם מאגרי ידע. הפלטפורמה נראית ככלי למפתחים ליצירת ושיפור של סוכני AI, ולא כממשק פונה ללקוח. הפלטפורמה מציעה תכונות כגון agent evaluation, simulated conversations וניהול תרחישים. היא מאפשרת למשתמשים לערוך ולנהל prompts, להוסיף retrieval steps למאמרי knowledge base, ולשלב עם global prompts לטיפול במצבים מורכבים. בעוד Future AGI מספקת תכונות ערכיות לפיתוח ואופטימיזציה של בינה מלאכותית, היא גם מגיעה עם מגבלות. לדוגמה, היא מתבססת על ידע כללי ועלולה לדרוש שלבים נוספים עבור תרחישים מורכבים יותר. בנוסף, ההתבססות של הפלטפורמה על שיחות מדומות עשויה להגביל את היכולת שלה להתמודד עם אי‑ודאויות בעולם האמיתי. Future AGI נראה שהוא מציע סט ייחודי של תכונות לפיתוח ואופטימיזציה של AI. כלי ההערכה והאופטימיזציה המקיפים שלו הופכים אותו למשאב בעל ערך עבור מפתחים שמחפשים לחדד את הסוכנים המלאכותיים שלהם. עם זאת, ייתכן שהוא ידרוש פיתוח או אינטגרציה נוספים כדי להתמודד עם תרחישים מורכבים יותר ועם אי‑ודאויות בעולם האמיתי.
חלוקת קריטריונים
- הערכת סוכנים ודירוג
- שיחות מדומות וניהול תרחישים
- שילוב עם בסיס ידע וגישה
- טיפול בהנחיות גלובליות למצבים מורכבים
- כלי ניתוח ואופטימיזציה
Inspeq AI מסייעת לארגונים להעביר את נושא הבינה המלאכותית האחראית מהמסמכים המדיניים לשגרה היומיומית של ההנדסה. הפלטפורמה מספקת כלים להערכת, ניטור ומשילות של יישומי AI גנרטיביים לאורך מחזור חייהם, עם דגש על מדדי איכות, בטיחות ועמידה בתקנים שנמדדים. צוותים יכולים לבצע הערכות אוטומטיות על פלטי LLM, לעקוב אחרי בעיות כגון הזיות, הטייה, רעילות, וסיכוני הזרקת פרומפט, ולשלב בדיקות בצינורות הפיתוח והייצור. לוחות מחוונים ותכונות דיווח נועדו לספק לצוותים הטכניים, קציני הסיכון ובעלי העניין העסקיים תצוגה משותפת של התנהגות המודל. הוא מיועד בעיקר לחברות הבונות מוצרי GenAI המיועדים ללקוחות או מוסדיים, הדורשות פיקוח עקבי ויכולת ביקורת.
חלוקת קריטריונים
- הערכה אוטומטית של פלט LLM
- מדדים עבור הטיה, רעילות והזיות
- מעקב אחר פרומפט ותגובה
- דו"חות ממשל וציות
- אינטגרציות צנרים ו-API
- לוחות עבור צוותים טכניים וסיכון
Maxim AI היא פלטפורמת מפתחים שנועדה לעזור לצוותים לפרוס סוכני AI אמינים ויישומי LLM. היא מאחדת הנדסת פרומפט, הערכה, נראות וניהול מערכי נתונים, כך שהצוותים יכולים לבצע איטרציות במהירות תוך שמירה על מדידת האיכות. הפלטפורמה תומכת בהערכות אוטומטיות ובאנושיות על פני מודלים ופרומפטים מרובים, ומאפשרת למהנדסים להשוות תוצרים, לאתר רגרסיות ולחקור תקלות בייצור. היא נועדה לשיתוף פעולה חוצת תפקידים, עם זרימות עבודה שמאפשרות גם לבעלי עניין טכניים וגם ללא רקע טכני לתרום לבדיקות וסקירה. Maxim משמש בדרך כלל צוותים הבונים צ'אטבוטים, קופילוטים, סוכני קול וזרימות עבודה מרובת שלבים עם סוכנים הדורשות ביצועים עקביים למרות שינוי בפרומפטים, מודלים וקלטי משתמש.
חלוקת קריטריונים
- ויצהר-משחק במרחב של תעודי
- הערכה אוטומטית ובדיקה מאנשי
- בקרה ומחקר באמצעות LLM
- ניהול מסלול האפקת ונגש-משא
- ניהול ועריכ-ס-קר
- תמיכ-ם ל-LLM וספקים רב-מע-
Temperstack
מפלטפורמה דרכ של AI היכון לעזור לעמוד נגד יציבות שבעזרת Auto- monitoring, alerting, and incident management across observability stacks.
Temperstack היא פלטפורמת הנדסת אמינות המשתמשת בבינה מלאכותית כדי לאחד ניטור, התראה ותגובה לתקריות בין הכלים שכבר משתמשים בהם. במקום להחליף ערימות נראות ק существующие, היא מונחת על גבי אלה כדי לזהות פערים בכיסוי, ליצור התראות משמעותיות ולמיין את הדרך בה צוותים בתור תגובה לבעיות. הפלטפורמה עוזרת לצוותים של SRE ו-DevOps להפחית עייפות התראות, לקצר את הזמן הממוצע לפתרון, ולשמור על סטנדרטים של אמינות עקבית בין השירותים. על ידי אוטומציה של משימות שגרתיות כמו תצורת התראות, ביצוע ספרי ריצה (runbook) וניתוח לאחר תקרית, הפלטפורמה משחררת את המהנדסים להתמקד בעבודה של אמינות בעלת ערך גבוה יותר.
חלוקת קריטריונים
- AI-assisted alert configuration
- Cross-tool incident management
- Automated Monitoring audits
- Runbook automation
- Post-incident reporting and analysis
- Integrations with major observability platforms
Arize AI
מלרכז הערכת LLM ועריכת תצפיות AI שמורכז לסיוע AI ומדעני נתונים במעקב, בתיקון ובקידום ביצועי...'
Arize AI היא פלטפורמת תצפית על AI והערכת LLM. היא מסייעת למפתחים של AI ולמדעני נתונים במעקב, באיתור תקלות ובשיפור ביצועי המודלים שלהם. הפלטפורמה מספקת כלים לזיהוי בעיות והצעת תיקונים, מה שמאפשר למשתמשים לשפר את הדיוק והאמינות של המודלים שלהם. Arize AI מיועדת למפתחים של AI ולמדעני נתונים שצריכים למטב את ביצועי המודלים שלהם. יכולות הפלטפורמה כוללות ניטור ואיתור תקלות, המאפשרים למשתמשים לזהות ולטפל בבעיות במהירות. בנוסף, Arize AI מציעה תכונות להערכת ושיפור ביצועי המודלים, ומאפשרת למשתמשים ללטש את המודלים שלהם עם הזמן. באמצעות Arize AI, משתמשים יכולים לוודא שהמודלים שלהם פועלים בתפוקה מרבית, מה שמוביל לקבלת החלטות טובה יותר ותוצאות משופרות. המיקוד של הפלטפורמה על תצפית והערכה מבדיל אותה משאר כלי פיתוח ה‑AI, והופך אותה למשאב בעל ערך למי שעובד עם מודלים של שפה גדולים ומערכות AI מורכבות.
חלוקת קריטריונים
- מעקב אחרי מודלי AI
- איתור ותיקון בעיות
- הצעת תיקונים
- הערכת ביצועי המודל
- הערכת ואופטימיזציית LLM
Weave
מבנה זרימת עבודה ללא קוד תוכנה שמאפשר לעסקיםpara automatize פעולות על ידי התבססות על מודלים רב-לשוניים (LLMs) ובאיזורה פרסומים
W&B Weave היא פלטפורמת תצפית והערכה המסייעת לעקוב ולשפר יישומי מודל שפה גדול (LLM). Weave מספקת כלים למעקב, איסוף מדדי ביצועים והערכת תגובות של יישומים באמצעות שופטי LLM וצורני ציון מותאמים אישית. תכונות מרכזיות כוללות מעקב אחר הפעלות, שיחות LLM ושיחות כלים, כמו גם הכנסת כלים באופן ידני של סוכנים מותאמים אישית. הפלטפורמה תומכת באינטגרציות עם SDKs פופולריים ו- Harnesses, כמו גם יכולת תצפית סוכנים מותאמת אישית. Weave מספקת ספריות Python ו-TypeScript להתקנה ושימוש בפלטפורמה. היא מתארחת על גבי Weights & Biases (W&B), ודורשת חשבון W&B ומפתח API לאימות. משתמשים יכולים לעקוב אחר שיחות ל-LLM, לבדוק תשומות ותפוקות, ולצפות במדדי סוכנים בממשק המשתמש של Weave. בעוד ש-Weave מאפשרת אוטומציה והערכה של יישומי LLM, היא אינה בונה זרימות עבודה של AI ללא קוד, כפי ששמה מרמז.
חלוקת קריטריונים
- עקוב אחר סצנות של אג'נט
- זכויות ניתוח מובנות של אג'נט
- LLM עקוב והערכה
- תמיכה OpenTelemetry
- W&B
- ספריות Python ו-TypeScript