Minulý súboj · 2024-08-12 UTC
AI Model Serving Platforms Súboj — 12. augusta 2024
Z kategórie AI Model Serving Platforms. 15 body udelených medzi 4 bojovníkov. Astrolabe získal korunu.
Konečné poradie
Zostava
Bojovníci
Profily každého nástroja, ktorý súťažil v tomto súboji, zoradené podľa ich konečného skóre.
Astrolabe je open-source brána umelej inteligencie navrhnutá na umiestnenie medzi agenti OpenClaw a OpenRouter. Funguje ako smerovací proxy, ktorý klasifikuje každú požiadavku, vyrieši vhodnú cestu modelu zo staticky skontrolovaného zoznamu, vykoná volanie proti OpenRouter a aplikuje bezpečnostnú politiku okolo použitia nástroja a nedôveryhodných vstupov. Cieľom je umožniť samo-hostovaným agentom vyhnúť sa ručnej úprave poskytovateľov a ID modelov na základe jednotlivých prípadov. Projekt vystavuje množstvo virtuálnych modelov, ako napríklad astrolabe/auto, astrolabe/coding, astrolabe/research, astrolabe/vision, astrolabe/strict-json, astrolabe/cheap a astrolabe/safe. Tieto mapujú na konkrétne základné modely od poskytovateľov ako DeepSeek, OpenAI, Anthropic, MiniMax, Moonshot, xAI, Qwen, Google a Mistral, ktoré sú udržiavané v statických manifestoch namiesto pevne zakódovaného konfiguračného objektu. Astrolabe centralizuje štyri hlavné starosti pre agentov OpenClaw: flexibilitu smerovania, spoľahlivosť a správanie pri zlyhaní, kontrolu nákladov a bezpečnostnú politiku pre použitie nástrojov. Má za cieľ dodať tieto funkcie bez pridania databáze, hostovaného ovládacieho panela alebo ľubovoľnej závislosti od SaaS. Verzia OSS je bezstavová a samo-hostovaná; operátor dodá svoj vlastný OpenRouter API kľúč a Astrolabe API kľúč, potom nasmeruje OpenClaw na inštanciu Astrolabe. V čase spustenia OpenClaw odosiela požiadavku na Astrolabeov endpoint POST /v1/responses (pričom POST /v1/chat/completions je zachovaný ako kompatibilný adaptér). Astrolabe klasifikuje kategóriu, zložitosť a modifikátory, rozlíši jazdný pruh a súbor kandidátskych modelov, vykoná požiadavku, overí responzie bez streamovania, aplikuje kontroly zásad nástrojov a môže eskalovať až k silnejšiemu modelu. Vráti pôvodnú odpoveď spolu s hlavičkami x-astrolabe-* a vloženými metadatami. Od verzie 0.3.0 Beta je projekt v ranom štádiu a je malý. Je špeciálne vytvorený pre ekosystém OpenClaw a nie ako všeobecné brány LLM, takže používatelia mimo tohto pracovného postupu môžu nájsť viac zrelých alternatív v nástrojoch ako LiteLLM alebo vlastné smerovanie OpenRouter. Jeho statický, skontrolovaný zoznam modelov poskytuje reprodukovateľnosť, ale vyžaduje manuálne aktualizácie, keď sa modely menia.
Rozdelenie kritérií
- Koncovky /v1/responses a /v1/chat/completions kompatibilné s OpenAI
- Statické overené manifesety modelov naprieč viacerými poskytovateľmi
- Virtuálne modelové linky (auto, kódovanie, výskum, vízia, lacné, bezpečné, strict-json)
- Klasifikácia žiadostí podľa kategórie, zložitosti a modifikátorov
- Kontroly bezpečnostnej politiky používania nástroja s jediným eskaláciou
- Overenie odpovedí a hlavičky metadát x-astrolabe-*
Jina AI
Základ pre multimodálne vyhľadávanie s embedingmi, rerankovaním a RAG pipelines.
Jina AI poskytuje súbor základných modelov a API navrhnutých okolo vyhľadávania, získavania a multimodálneho porozumenia. Jej základné ponuky zahŕňajú textové a obrázkové embedingové modely, neurónové rerankery, zero-shot klasifikátory a nástroje na tvorbu workflow pre retrieval-augmented generation (RAG) na veľkej škále. Platforma je určená pre vývojárov a tímy, ktoré budujú vyhľadávače, odporúčacie systémy a AI asistenty, ktoré musia logicky prepojiť text, obrázky a štruktúrované dáta. Modely sú dostupné cez hostované API a open-source výstupy, s viacjazyčnou podporou a schopnosťami dlhého kontextu pre spracovanie veľkých dokumentov. Jina AI sa integruje s bežnými vektorovými databázami a LLM frameworkmi, čo z nej robí praktický stavebný blok pre produkčný semantický vyhľadávač a systémy pre získavanie znalostí.
Rozdelenie kritérií
- Textové a obrázkové embedingové modely
- Neurónové reranker API
- Zero-shot klasifikácia
- Podpora dokumentov s dlhým kontextom
- Viacjazyčné vyhľadávanie
- Integrácie RAG a vektorových databáz
GLM‑4.5
Open-source hybrid-reasoning MoE základný model určený pre agentické, kódovacie a používanie nástrojov
GLM-4.5 je otvorený veľký jazykový model vyvinutý spoločnosťou Zhipu AI (Z.ai) ako súčasť rodiny modelov GLM. Používa architektúru Mixture-of-Experts (MoE) a hybridný dizajn uvažovania, ktorý umožňuje modelu buď "uvažovať" pred odpoveďou, alebo odpovedať priamo, čo je zamerané na agilné pracovné postupy, kódovanie a použitie nástrojov. Model podporuje 128K-tokenové okno kontextu a natívne volanie nástrojov. Model je určený pre vývojárov, ktorí vytvárajú agenty umelej inteligencie a kódovacie asistenty. Zaviedol tzv. "Interleaved Thinking", kedy model uvažuje pred každou odpoveďou a volaním nástrojov, čo neskôr rozšírili ďalšie verzie GLM (GLM-4.6 a GLM-4.7) o funkcie ako Preserved Thinking a Turn-level Thinking. GLM-4.5 sa zameriava na agentické kódovanie, integruje sa s hlavnými frameworkmi a kódovacími nástrojmi, ako sú Claude Code, Cline, Roo Code a Kilo Code. Úložisko GitHub obsahuje modelové zdroje, kód pre inferenciu a príklady, zatiaľ čo váhy sú otvorene dostupné pre vlastné hostovanie a API je ponúkané prostredníctvom platformy Z.ai API. Úložisko teraz tiež dokumentuje nástupnícke modely GLM-4.6 (rozširujúce kontext až na 200K tokenov) a GLM-4.7, spolu s ľahkým variantom 30B-A3B (GLM-4.7-Flash) pre efektívnejšie nasadenie. Ako otvorená verzia s rovnakou váhou, GLM-4.5 súťaží s inými otvorenými modelmi zameranými na agenty a kódovacie použitia. Jeho silné stránky spočívajú v používaní nástrojov, kontrole uvažovania a otvorenosti, hoci spustenie veľkého modelu MoE lokálne vyžaduje podstatný hardvér a novšie verzie GLM ho odvtedy prekonaly v benchmarkoch.
Rozdelenie kritérií
- Architektúra Mixture‑of‑Experts (MoE)
- Hybridné rozmišľovanie s režimami myslenia/bez myslenia
- Natívne volanie nástrojov pre agentov
- Vrstvené myšlienky pred odpoveďami a volaním nástrojov
- 128K kontextové okno
- Optimalizácia agentického kódovania
New API
Open-source LLM gateway, ktorý zjednocuje viacero AI poskytovateľov API s routovaním, fakturáciou a analytikou
New API je open-source LLM gateway, ktorý poskytuje jednotné rozhranie pre pripojenie k viacerým poskytovateľom AI modelov, vrátane API v štýle OpenAI, Anthropic Claude a Google Gemini. Funguje ako centrálny správny vrstva, ktorá umožňuje tímom smerovať požiadavky medzi poskytovateľmi, kontrolovať prístup a sledovať využitie z jedného miesta. Projekt je určený pre vývojárov, platformové tímy a organizácie, ktoré konzumujú AI API v rozsahu a chcú jeden gateway namiesto samostatnej integrácie každého poskytovateľa. Exponovaním OpenAI-kompatibilných endpointov umožňuje existujúcim aplikáciám a SDK pracovať s viacerými backendmi bez prepisovania klientského kódu. Okrem základného proxyingu sa New API zameriava na operačné otázky, ako sú kvóty založené na tokenoch, fakturácia a správa kreditov, auditovanie požiadaviek a analytika využitia. Tieto funkcie ho robia vhodným pre budovanie interných AI platforiem alebo pre predaj/merging prístupov k viacerým používateľom alebo tímom. Ako open-source, self-hostable nástroj poskytuje prevádzkovateľom kontrolu nad nasadením a tokom dát, čo môže byť dôležité pre riadenie nákladov a súlad. Poskytuje sa v rovnakej oblasti ako iné API gateway a agregátory ako LiteLLM a One API, z ktorých sa odvodzuje. Ako u väčšiny self-hosted gateway, prispôsobenie New API vyžaduje nastavenie infraštruktúry a neustálu údržbu, a rozsah podporovaných poskytovateľov a stabilita závisí od príspevkov komunity.
Rozdelenie kritérií
- Unified multi-provider API gateway
- OpenAI-compatible endpoints
- Request routing across model providers
- Token quotas and billing management
- Usage analytics and auditing