Manifestתצפיות זמינות-זמן לעלויות ודרכים לאג'נטים AI ואפליקציות, המאפשרות אופטימיזציה של החישוב LLM באמצעות ספקים רבים.

Manifest הוא פלטפורמה בקוד פתוח שנועדה לעזור למשתמשים לנהל ולמטב את עלויות ההסקה של ה‑AI שלהם על‑ידי אספקת שכבת ניתוב בין סוכני AI או יישומים לבין ספקי מודלים גדולים לשפה (LLM). היא פותרת את בעיית חשבוניות ה‑AI הגבוהות והמורכבות של שימוש יעיל בכמה שירותי LLM על‑ידי מתן שליטה למשתמשים על צריכת המודלים וההוצאות שלהם. הכלי פועל על ידי מתן אפשרות למשתמשים לחבר את הסוכנים האוטונומיים שלהם, יישומים או מנגנוני צד שלישי ל‑Manifest. לאחר מכן הם מוסיפים את ספקי ה‑LLM המועדפים עליהם, שיכולים לכלול שירותים מבוססי מפתח API (כמו OpenAI, Anthropic, Mistral), מנויים חודשיים קיימים (לדוגמה, Anthropic, GitHub Copilot), נקודות קצה מותאמות תואמות ל‑OpenAI או Anthropic, ואף מודלים מקומיים הפועלים בתשתית האישית דרך Ollama, LM Studio או llama.cpp. לאחר ההתחברות, Manifest מאפשר למשתמשים להגדיר כללי ניתוב, לבחור מודלים וספקים ספציפיים עבור שאילתות שונות, ולהגדיר fallback. זה מאפשר בחירה דינמית של מודל על בסיס עלות, ביצועים או זמינות. לדוגמה, ניתן לתת עדיפות לשימוש במכסות ממנוי בתשלום מראש ולבצע fallback אוטומטי למודלים בתשלום לפי שימוש כאשר המגבלות מתמלאות. הפלטפורמה מציעה גם visualisation בזמן אמת של ההוצאות, ועוזרת למשתמשים לעקוב אחרי כל דולר שמוציאים על פעילות ה‑AI שלהם. יכולת בולטת היא תכונת "AUTO-FIX" של Manifest, שמנסה לתקן תקלות נפוצות בבקשות LLM לפני שהן מגיעות לסוכן. זה כולל תיקון בעיות כגון מודלים שהוצאו משימוש או לא נמצאו, פרמטרים שגויים, בקשות מעוותות, והחמצת גבולות חלונות ההקשר, במטרה למנוע זמן השבתה ולשפר את שיעור הצלחת הבקשות. Manifest נבנה מתוך חשיבה על גמישות, ותומך במגוון רחב של יישומי AI, סוכנים אישיים וזרימות עבודה. הוא זמין בגרסת ענן לנוחות ההטמעה או בפריסה עצמאית באמצעות Docker, המשקפת את אופיו הקוד הפתוח. גישה זו שואפת להפוך את ה‑AI לזמין ומשתלם יותר, מפתחים יחידים ועד חברות מבוססות, על‑ידי אספקת כלים שמורידים עלויות מבלי לפגוע באיכות או לקשור את המשתמשים לספק יחיד.