AI Model Serving Platforms התמודדות — 5 במרץ 2025

1

New API

ברקוד API פתוח open-source LLM gateway המאחד כמה API לספקי החינוך של LLM מעקב, תיקון, ואנליטיק פחות

4.3 (4)

פרימיום חינמי

ביקורת מלאה

New API הוא שער LLM בקוד פתוח המספק ממשק אחיד לחיבור לספקי מודלי AI שונים, כולל OpenAI, Anthropic Claude ו-API בסגנון Google Gemini. הוא פועל כשכבת ניהול מרכזית המאפשרת לצוותים לנתב בקשות בין ספקים, לשלוט בגישה ולעקוב אחר השימוש במקום אחד. הפרויקט מיועד למפתחים, צוותי פלטפורמה וארגונים אשר משתמשים ב-API של בינה מלאכותית בקנה מונית ורוצים שער יחיד במקום לשלב כל ספק בנפרד. על ידי חשיפת נקודות קצה תואמות OpenAI, הוא מאפשר ליישומים ו-SDKs קיימים לעבוד עם גיבויים רבים מבלי לשכתב את קוד הלקוח. מעבר ל-proxying בסיסי, New API מתמקד בנושאים תפעוליים כגון מכסות מבוססות אסימונים, ניהול חיוב ואשראי, ביקורת בקשות וניתוח שימוש. תכונות אלו הופכות אותו למתאים לבניית פלטפורמות AI פנימיות או למכירה חוזרת/מדידה של גישה למשתמשים או צוותים מרובים. ככלי בקוד פתוח שניתן לארח בעצמם, הוא מעניק לאופרטורים שליטה על הפריסה ותזרים הנתונים, דבר שיכול להיות חשוב לניהול עלויות ותאימות. הוא מתמקם באותו מרחב כמו שערי API ומאגרגים אחרים כמו LiteLLM ו-One API, שממנו הוא נגזר. כמו ברוב השערים המתארחים בעצמם, אימוץ New API מחייב הגדרת תשתית ותחזוקה שוטפת, וההיקף של תמיכת הספקים ויציבותם תלויים בתרומות הקהילה.

• Unified multi-provider API gateway
• OpenAI-compatible endpoints
• Request routing across model providers
• Token quotas and billing management
• Usage analytics and auditing

2

GLM‑4.5

דגם יסוד היברידי קוד פתוח מבוסס MoE שנבנה למשימות סוכנים, קידוד ושימוש בכלי

4.5 (6)

חינם

ביקורת מלאה

GLM‑4.5 הוא מודל שפה גדול בקוד פתוח שפותח על ידי Zhipu AI (Z.ai) כחלק ממשפחת מודלים GLM. הוא משתמש בארכיטקטורת Mixture‑of‑Experts (MoE) ובעיצוב היגיון היברידי המאפשר למודל "לחשוב" לפני המענה או לענות ישירות, ומיועד לתהליכי עבודה אג'נטיים, קידוד ושימוש בכלים. המודל תומך בחלון הקשר של 128K טוקנים ובקריאת כלי באופן מקורי. המודל מיועד למפתחים הבונים סוכנים מבוססי AI ועוזרי קידוד. הוא הציג את "Interleaved Thinking", שבו המודל מבצע חשיבה לפני כל תגובה וקראת כלי, ושחרורים מאוחרים יותר של GLM (GLM-4.6 ו‑GLM-4.7) הרחיבו זאת עם תכונות כמו Preserved Thinking ו‑Turn-level Thinking. GLM‑4.5 מדגיש קידוד סוכן (agentic coding), ומשלב עם מסגרות סוכנים מרכזיות וכלי קידוד כגון Claude Code, Cline, Roo Code, ו‑Kilo Code. המאגר ב‑GitHub מכיל משאבי מודל, קוד אינפרנס ודוגמאות, בעוד שהמשקולות משוחררות באופן פתוח להקמה עצמאית וה‑API מוצע דרך פלטפורמת Z.ai API Platform. כעת המאגר מתעד גם את מודלי הרץ הבא GLM-4.6 (המרחיב את ההקשר ל‑200 אלף טוקנים) ו‑GLM-4.7, לצד גרסה קלה של 30B‑A3B (GLM-4.7-Flash) לפריסה יעילה יותר. כגרסה פתוחה במשקל, GLM‑4.5 מתחרה במודלים פתוחים אחרים המיועדים לשימושים סוכניים וקידוד. החוזקות שלו ניכרות בשימוש בכלים, שליטה בהיסק ובפתיחות, אך הרצת מודל MoE גדול באופן מקומי דורשת חומרה משמעותית, והגרסאות החדשות יותר של GLM כבר חצו אותו במדדי ביצוע.

• ארכיטקטורת Mixture-of-Experts (MoE)
• היסק היברידי עם מצבי חשיבה / ללא חשיבה
• שיחות כלים מקומיות לסוכנים
• חשיבה משולבת לפני תשובות ושיחות בכלי
• חלון הקשר של 128K
• אופטימיזציה של קידוד סוכנים

3

Jina AI

יסודות חיפוש רב-מודאליים ל-embeddings, ריראנקינג וצינורות RAG

4.2 (5)

חינם

ביקורת מלאה

Jina AI מציעה חבילה של מודלים בסיסיים ו‑APIs המיועדים לחיפוש, אחזור והבנה מולטימודאלית. המוצרים המרכזיים שלה כוללים הטמעות של טקסט ותמונה, מערכות דירוג מחדש נוירוניות, מסווגים אפס‑שוט, וכלים לבניית תהליכי Retrieval‑Augmented Generation (RAG) בקנה מידה גדול. הפלטפורמה נועדה למפתחים ולצוותים הבונים מנועי חיפוש, מערכות המלצות ועוזרי AI שצריכים להסיק מסקנות על טקסט, תמונות ונתונים מובנים. המודלים נגישים דרך API מתארחים וגרסאות קוד פתוח, עם תמיכה ברב‑לשוניות ויכולת הקשר ארוך לטיפול במסמכים גדולים. Jina AI משתלב עם מסדי נתונים וקטוריים נפוצים ומסגרות LLM, מה שהופך אותו לחלק בנייה מעשי למערכות חיפוש סמנטי ואחזור ידע ברמת ייצור.

• מודלים של embeddings טקסט ותמונות
• APIs של rerankers נוירוניים
• סיווג zero-shot
• תמיכה במסמכים בעלי הקשר ארוך
• אחזור רב-לשוני
• אינטגרציות RAG ובסיסי נתונים וקטוריים