Geçmiş savaş · 2024-08-12 UTC
AI Model Serving Platforms Hesaplaşma — 12 Ağustos 2024
AI Model Serving Platforms kategorisinden. 4 savaşçıya 15 işaret yerleştirildi. Astrolabe tacı aldı.
Nihai sıralama
Kadro
Savaşçılar
Bu savaşta yarışan her aracın profilleri, nihai puanlarına göre sıralandı.
Astrolabe
Self-hosted OpenAI compatible routing gateway for OpenClaw agents with cost and safety policy (Kendi sunucunuza kurulumu yapılan ve maliyet ve güvenlik politikası ile uyumlu bir OpenAI ile uyumlu güvenilebilir yol ayırıcı hizmet)
Astrolabe, OpenClaw aracıları ve OpenRouter arasında açık kaynaklı bir AI kapıdır. Açık claw işleyicileri arasında bir taşıma proxy gibi davranır, her isteğin sınıflandırılması, uygun bir model yolunun statik kontrol listesinden alıntılanması, bu yol karşı OpenRouter çağrılarının yürütülmesi, ve kullanıcının güvenirliği şüpheli girdiler için bir güvenlik politikası uygulamadır. Bu, kendi sunucusunda çalışan işleyicilerin tedarikçileri ve model tanımlarını manuel olarak her adımda tünlemenin önlenmesidir. Projenin, astrolabe/auto, astrolabe/coding, astrolabe/research, astrolabe/vision, astrolabe/strict-json, astrolabe/cheap, ve astrolabe/safe gibi sanal modelleri ortaya çıkararak açıklamaya tabi tuttuğu. Bu, DeepSeek, OpenAI, Anthropic, MiniMax, Moonshot, xAI, Qwen, Google ve Mistral gibi sağlayıcılardan aldığınız konkre gerçekleştirmelerin eşlenik alt modellerini gösterir. Bu sağlayıcılara ait modeller, statik manifester ratherthan, bir hardcode edilmiş yapılandırma nesnesinin kullanılmadığı durumlar yerine sürdürülüyor. Astrolabe, dört temel endişeyi OpenClaw agentleri için merkezi hale getirmektedir: routing flexibilty, güvenilirlik ve fall-back davranış, maliyet kontrolü ve araç kullanma politikası için güvenlik. Bunun gibi bir veritabanı eklemeksizin, barındırılan kontrol planı eklemeksizin veya herhangi bir SaaS bağımlılığı eklemeksizin bu özellikleri teslim etmeyi amaçlamaktadır. Açık kaynaklı versiyonu stateless ve kendi başına barındırılan bir uygulamadır; işletimci, kendi OpenRouter API anahtarını ve Astrolabe API anahtarını sağlar, ardından OpenClaw'u Astrolabe örneğine yönlendirir. Uygulama sırasında, OpenClaw Astrolabe'nin POST /v1/cevaplar uç noktasına ( compatibilite adaptörlerinin desteğiyle POST /v1/söyleşiler/tamamlamalar olarak kalıyor ) bir talep gönderir. Astrolabe kategori, karmaşıklık ve değiştiricileri sınıflandırır, bir yol ve aday model kümesini çözer, talepte bulunur, akışı olmayan cevaplara yönelik doğrulamayı yapar, araç politikası denetimlerini uygular ve gerektiğinde güçlü bir modele yükseltebilir. x-astrolabe-* etiketlerinin yanı sıra inline metadatayla birlikte, upstream cevabı geri döndürür. 0.3.0 Beta sürümünden itibaren projenin erken aşama ve küçük olduğu söyleniyor. OpenClaw ecosistemi için amaçlanmış bir LLM girişi yerine genel amaçlı bir girişim olmadığı için kullanıcılar, LiteLLM veya OpenRouter'in kendi routing işleminde daha olgun alternatifler bulabilirler. Durağan, kontrol edildiği modeller listesi reproducibility sağlar ama modeller değiştiğinde manuel güncellemelere tabi olarak.
Kriterlerin ayrıştırılması
- OpenAI uyumlu /v1/responses ve /v1/chat/completions uç noktaları
- Birden çok sağlayıcıda statik olarak kontrol edilen model manifesto dosyaları
- Ayarlanabilir model bantları (oto, kodlama, araştırma, görme, ucuz, güvenceli, sıncırsız json)
- Talep sınıflandırması, kategorization, karmaşıklık ve işareteçlere göre
- Ortağalarla güvenlik politikasının kontrolü bir adreste
- Cevap doğrulaması ve x-astrolabe-* meta veri başlıkları
Jina AI
Birdenleşik arama temelleri için embeddings, yeniden sıralama ve RAG.pipeline'leri.
Jina AI, arama, alma ve çok moda anlama etrafında inşa edilmiş temel modeller ve API'ler sunan bir dizi temel model sunar. Ana ürünlerindeki ana konular, metin ve resim emme hesaplamaları, sinirsel yeniden sıralayıcılar, sıfır shot sınıflandırıcılar ve ölçekli veri akışına yönelik alma-geliştirme araçlarını oluşturma (RAG) akışlarını içerir. Platform, metin, görüntü ve yapılandırılmış veri gibi çeşitli kaynaklar arasında düşünmeleri isteyen arama motorları, ön推薦 sistemleri ve AI yardımcısı yapımındaki geliştiriciler ve takımlar için tasarlanmıştır. Modeller, multi dilli destek ve uzun bağlamsal özellikler ile büyük metin dosyalarını işleyebilecek kapasiteye sahip olmak üzere barındırılan API'ler ve açık kaynaklı sürümler aracılığıyla erişilebilir. Jina AI, ortak vektör veritabanları ve LLM çerçeveleri ile tümleştirmektedir, bu sayede pratik bir üretim sınıfı semantik aramalar ve bilgi getirme sistemleri için bir inşa taşıma bloğu olmaktadır.
Kriterlerin ayrıştırılması
- Metin ve resim empeding modeli
- Neural yeniden sıralatıcı API'leri
- Sıfır-shot sınıflandırma
- Uzun-konteks belgeler desteği
- Çok dilli retrieval desteği
- RAG ve vektör veritabanı entegrasyonları
GLM‑4.5
Makine öğrenmesi temelli agnetik, kodlama ve araç kullanma görevleri için açık kaynaklı гибрид-çıkarım temelli model
GLM-4.5, Zhipu AI (Z.ai) tarafından GLM model ailesi kapsamında geliştirilen açık kaynaklı büyük dil modelidir. Mixture-of-Experts (MoE) mimarisi ve гибрид-raisonnement (hybrid-reasoning) tasarımcılığını kullanan model, işleyişi önceden düşünmesi ve doğrudan cevaplaması arasında değişim yaparak; agentlı akışlar, kodlama ve araç kullanımı gibi alanları hedef almaktadır. Model, 128K-token konteks penceresi ve yerel araç çağrısı desteği sunmaktadır. Model, AI agentleri ve kodlama yardımcı programları geliştiren geliştiriciler için tasarlanmıştır. Model, GLM-4.6 ve GLM-4.7 sürümlerinin daha sonra "Düzenlenebilir Düşünme" ve "Tur- seviyeli Düşünme" gibi özellikleri ekleyen "Arılsanmış Düşünme" olarak bilinen bir yaklaşımı tanıttı. GLM-4.5, Claude Code, Cline, Roo Code ve Kilo Code gibi ana akım ajan çerçeve ve kodlama araçlarıyla işbirliği yaparak aganj kodlama üzerinde odaklanmaktadır. GitHub deposunda model kaynakları, inference kodları ve örnekler barındırılırken, ağırlıklar açık kaynaklı olarak self-hosting için paylaşılırken API, Z.ai API Platformu üzerinden sunulmaktadır. Depo şimdi yanında gelen takip eden modeller GLM-4.6 (200K adet token kapsamını genişletir) ve GLM-4.7'nin yanında hafif 30B-A3B varyantı (GLM-4.7-Flash) için daha verimli bir deployment için de belge içerir. GLM-4.5 açık-ağırlık olarak yayınlandığı için, agnositik ve kodlama kullanımlarına yönelen diğer açık modellerle rekabetçi bir hal alır. Kavramsal güçlüğu, araç kullanımı ve açıklık gibi noktalarında güçler sergilerse de, büyük bir MoE modelini yerel olarak çalıştırmak için önemli miktarda donanım gerekliliği vardır ve yeni nesil GLM sürümleri daha son zamanlarda ölçütlere göre GLM-4.5'den üstün olmuştur.
Kriterlerin ayrıştırılması
- Maksimum-Özenleyiciler (MoE) mimarisine sahip
- Hibrit çıkmalarla birlikte düşünme/çıkma modları
- Pilots için yerel araç çağırma
- Cevap ve araç çağrıları birbirini takip eden şekilde düşünme
- 128K konteks penceresi
- Agenik kodlama optimize edici
New API
Mülteci açık kaynak LLM köprüsü, birden fazla AI sağlayıcı API'sini birleştiren rotalama, faktürleme ve analitiklerle
Yeniden API, açık kaynaklı LLM girişimidir ve birden fazla AI model sağlayıcısına bağlanmak için birleştirilmiş bir arayüz sunar, bununla birlikte OpenAI, Anthropic Claude ve Google Gemini-style API'lerine erişirler. Bu, takımın sağlayıcılar arasında istek yönlendirmesi, erişim kontrolü ve bir yerden kullanım izleme yapmasını sağlayan merkezi yönetişim katmanını işlevsellik sağlar. Proje, büyük ölçekte AI API'leri tüketen geliştiriciler, platform takımları ve organizasyonlar için tasarlanmıştır. Tek bir kapı yerine her sağlayıcı ayrı olarak entegre etmek yerine OpenAI uyumlu uç noktalardan yararlanarak mevcut uygulamalar ve SDK'lar birçok arka uçla çalışabilir hale getirir. Temel proxy öykünmesi aşamasından geçerek, New API, token Tabanlı sınırlandırma, faktürleme ve kredi yönetiminden gereksinim analizi ve kullanım istatistiklerine kadar yürütme konularına odaklanmaktadır. Bu özellikler, iç AI platformlarının oluşturulması veya çeşitli kullanıcı veya takımlara erişim için ölçümlemenin/redirlemenin yeniden satılabilmesi gibi içerecektir. "Açık kaynaklı, kendinden barındırılabilir bir araç olan bu, işletimler için deployman ve veri akışının kontrolünü sağlar, maliyet yönetimine ve uyumlaşıma dair önem verebilir. Kendi sınıfındaki diğer API girdişleri ve birleştirmelerinden biri gibi duran bu araç, Light LLM ve One API gibi araçlardan güç alır." Çoğu self-hosted gateway gibi, New API'nin devreye alınması, altyapı kurulumu ve devam Eden bakım gerektirir. Hizmet sağlayıcı поддержки ve istikrarın daraltılması topluluk katkılarına bağlıdır.
Kriterlerin ayrıştırılması
- Birden çok sağlayıcı API köprüsünü birleştiriyor
- OpenAI uyumlu uç noktalar
- Model sağlayıcılarının arasında talep yönlendirmesi
- Token kotaları ve faktürleme yönetimi
- Kullanım analitiği ve denetim