Geçmiş savaş · 2025-03-05 UTC
AI Model Serving Platforms Hesaplaşma — 5 Mart 2025
AI Model Serving Platforms kategorisinden. 3 savaşçıya 13 işaret yerleştirildi. New API tacı aldı.
Nihai sıralama
Kadro
Savaşçılar
Bu savaşta yarışan her aracın profilleri, nihai puanlarına göre sıralandı.
New API
Mülteci açık kaynak LLM köprüsü, birden fazla AI sağlayıcı API'sini birleştiren rotalama, faktürleme ve analitiklerle
Yeniden API, açık kaynaklı LLM girişimidir ve birden fazla AI model sağlayıcısına bağlanmak için birleştirilmiş bir arayüz sunar, bununla birlikte OpenAI, Anthropic Claude ve Google Gemini-style API'lerine erişirler. Bu, takımın sağlayıcılar arasında istek yönlendirmesi, erişim kontrolü ve bir yerden kullanım izleme yapmasını sağlayan merkezi yönetişim katmanını işlevsellik sağlar. Proje, büyük ölçekte AI API'leri tüketen geliştiriciler, platform takımları ve organizasyonlar için tasarlanmıştır. Tek bir kapı yerine her sağlayıcı ayrı olarak entegre etmek yerine OpenAI uyumlu uç noktalardan yararlanarak mevcut uygulamalar ve SDK'lar birçok arka uçla çalışabilir hale getirir. Temel proxy öykünmesi aşamasından geçerek, New API, token Tabanlı sınırlandırma, faktürleme ve kredi yönetiminden gereksinim analizi ve kullanım istatistiklerine kadar yürütme konularına odaklanmaktadır. Bu özellikler, iç AI platformlarının oluşturulması veya çeşitli kullanıcı veya takımlara erişim için ölçümlemenin/redirlemenin yeniden satılabilmesi gibi içerecektir. "Açık kaynaklı, kendinden barındırılabilir bir araç olan bu, işletimler için deployman ve veri akışının kontrolünü sağlar, maliyet yönetimine ve uyumlaşıma dair önem verebilir. Kendi sınıfındaki diğer API girdişleri ve birleştirmelerinden biri gibi duran bu araç, Light LLM ve One API gibi araçlardan güç alır." Çoğu self-hosted gateway gibi, New API'nin devreye alınması, altyapı kurulumu ve devam Eden bakım gerektirir. Hizmet sağlayıcı поддержки ve istikrarın daraltılması topluluk katkılarına bağlıdır.
Kriterlerin ayrıştırılması
- Birden çok sağlayıcı API köprüsünü birleştiriyor
- OpenAI uyumlu uç noktalar
- Model sağlayıcılarının arasında talep yönlendirmesi
- Token kotaları ve faktürleme yönetimi
- Kullanım analitiği ve denetim
GLM‑4.5
Makine öğrenmesi temelli agnetik, kodlama ve araç kullanma görevleri için açık kaynaklı гибрид-çıkarım temelli model
GLM-4.5, Zhipu AI (Z.ai) tarafından GLM model ailesi kapsamında geliştirilen açık kaynaklı büyük dil modelidir. Mixture-of-Experts (MoE) mimarisi ve гибрид-raisonnement (hybrid-reasoning) tasarımcılığını kullanan model, işleyişi önceden düşünmesi ve doğrudan cevaplaması arasında değişim yaparak; agentlı akışlar, kodlama ve araç kullanımı gibi alanları hedef almaktadır. Model, 128K-token konteks penceresi ve yerel araç çağrısı desteği sunmaktadır. Model, AI agentleri ve kodlama yardımcı programları geliştiren geliştiriciler için tasarlanmıştır. Model, GLM-4.6 ve GLM-4.7 sürümlerinin daha sonra "Düzenlenebilir Düşünme" ve "Tur- seviyeli Düşünme" gibi özellikleri ekleyen "Arılsanmış Düşünme" olarak bilinen bir yaklaşımı tanıttı. GLM-4.5, Claude Code, Cline, Roo Code ve Kilo Code gibi ana akım ajan çerçeve ve kodlama araçlarıyla işbirliği yaparak aganj kodlama üzerinde odaklanmaktadır. GitHub deposunda model kaynakları, inference kodları ve örnekler barındırılırken, ağırlıklar açık kaynaklı olarak self-hosting için paylaşılırken API, Z.ai API Platformu üzerinden sunulmaktadır. Depo şimdi yanında gelen takip eden modeller GLM-4.6 (200K adet token kapsamını genişletir) ve GLM-4.7'nin yanında hafif 30B-A3B varyantı (GLM-4.7-Flash) için daha verimli bir deployment için de belge içerir. GLM-4.5 açık-ağırlık olarak yayınlandığı için, agnositik ve kodlama kullanımlarına yönelen diğer açık modellerle rekabetçi bir hal alır. Kavramsal güçlüğu, araç kullanımı ve açıklık gibi noktalarında güçler sergilerse de, büyük bir MoE modelini yerel olarak çalıştırmak için önemli miktarda donanım gerekliliği vardır ve yeni nesil GLM sürümleri daha son zamanlarda ölçütlere göre GLM-4.5'den üstün olmuştur.
Kriterlerin ayrıştırılması
- Maksimum-Özenleyiciler (MoE) mimarisine sahip
- Hibrit çıkmalarla birlikte düşünme/çıkma modları
- Pilots için yerel araç çağırma
- Cevap ve araç çağrıları birbirini takip eden şekilde düşünme
- 128K konteks penceresi
- Agenik kodlama optimize edici
Jina AI
Birdenleşik arama temelleri için embeddings, yeniden sıralama ve RAG.pipeline'leri.
Jina AI, arama, alma ve çok moda anlama etrafında inşa edilmiş temel modeller ve API'ler sunan bir dizi temel model sunar. Ana ürünlerindeki ana konular, metin ve resim emme hesaplamaları, sinirsel yeniden sıralayıcılar, sıfır shot sınıflandırıcılar ve ölçekli veri akışına yönelik alma-geliştirme araçlarını oluşturma (RAG) akışlarını içerir. Platform, metin, görüntü ve yapılandırılmış veri gibi çeşitli kaynaklar arasında düşünmeleri isteyen arama motorları, ön推薦 sistemleri ve AI yardımcısı yapımındaki geliştiriciler ve takımlar için tasarlanmıştır. Modeller, multi dilli destek ve uzun bağlamsal özellikler ile büyük metin dosyalarını işleyebilecek kapasiteye sahip olmak üzere barındırılan API'ler ve açık kaynaklı sürümler aracılığıyla erişilebilir. Jina AI, ortak vektör veritabanları ve LLM çerçeveleri ile tümleştirmektedir, bu sayede pratik bir üretim sınıfı semantik aramalar ve bilgi getirme sistemleri için bir inşa taşıma bloğu olmaktadır.
Kriterlerin ayrıştırılması
- Metin ve resim empeding modeli
- Neural yeniden sıralatıcı API'leri
- Sıfır-shot sınıflandırma
- Uzun-konteks belgeler desteği
- Çok dilli retrieval desteği
- RAG ve vektör veritabanı entegrasyonları