ManifestZaman içinde AI ajanntları ve uygulamaları için maliyet gözlemi ve yolları optimizasyonu, çok sağlayıcı LLM alıntısı optimizasyonu desteği sunar.

Manifest, kullanıcıların AI inference maliyetlerini yönetme ve optimize etme konusunda yardımcı olmak için açık kaynaklı bir platformdur ve çeşitli büyük dil modeli (LLM) sağlayıcıları ile AI агентleri veya uygulamaları arasında bir yönlendirme katmanı sunar. AI faturalamadaki yüksek maliyet ve farklı LLM hizmetlerini-efficient bir şekilde kullanma kompleksliği konusunu ele alırken, kullanıcıların model tüketimine ve harcama kararına kontrol sunar. Aracı, kullanıcıların özerk ajansı, uygulaması veya üçüncü taraf sığınaklarını Manifest ile bağlandırmalarına izin veriyor. Ardından, kullanıcılar tercih ettikleri LLM sağlayıcılarını ekliyor. Bu, API anahtarına dayalı hizmetler (örneğin OpenAI, Anthropic, Mistral gibi) gibi OpenAI veya Anthropic ile uyumlu varsayılan abonelikler (örneğin Anthropic, GitHub Copilot gibi), özel OpenAI- veya Anthropic-kayılı uç noktalar ve yerel modeller, bunları kişisel altyapıda çalıştırmak için de Ollama, LM Studio ya da llama.cpp gibi. Bağlı olarak Manifest, kullanıcıların rotalama kuralları tanımlamasını, farklı sorgulamalar için belirli modeller ve sağlayıcıları seçmesini ve fallback ayarlar yapmasını sağlar. Bu, maliyet, performans veya mevcut durum temelinde dinamik bir model seçimi sağlar. Örneğin, önceden ödenmiş abonelikten kotalar kullanılarak önceliklendirilene ve sınırı aşılırsa otomatik olarak ödemesi gereken model seçeneklerine geri dönebilir. Platform, ayrıca AI operasyonları üzerinde harcanan her doları taklit eden gerçek zamanlı bir harcama görselleştirmesi sunar. Bir başlıca özellik Manifest'in 'AUTO-FIX' özelliği, yetkililer agent'e ulaşmadan önce LLM taleplerine özgü yaygın hata durumlarını iyileştirmek amacıyla çabalıyor. Buna depreçmiş veya bulunamayan modeller, yanlış parametreler, hatalı talepler ile sorgu penceresi aşımlarını içermektedir, böylece downtime'ı önlemek ve istek başarı oranlarını yükseltmek için. Manifest, esnekliğinin düşünülerek geliştirilmiş bir araçtır, geniş bir yelpazede AI uygulamaları, kişisel aracılar ve akışlar desteğine sahiptir. Bulut sürümü ile kolay bir onboarding deneyimi sunması veya açık kaynaklı doğası nedeniyle self-hosted Docker deploymantı seçeneklerini sunar. Bu yaklaşımın amacını, bireysel geliştiricilerden kurumsal işletmelerine kadar, maliyetleri azaltmak için araçlar sağlamaktır, ancak kaliteyi kaybetmeden veya kullanıcıları tek bir sağlayıcıya sıkıştırmadan, bu yöntemle AI'nın daha uygun fiyatlı ve erişilebilir hale gelmesini sağlamaktır.