Tidigare batalj · 2024-08-12 UTC
AI Model Serving Platforms Uppgörelse — 12 augusti 2024
Från kategorin AI Model Serving Platforms. 15 markeringar placerade över 4 kämpar. Astrolabe tog kronan.
Slutställning
Uppställningen
Kämparna
Profiler av varje verktyg som tävlade i den här bataljen, rankade efter sin slutpoäng.
Astrolabe
Självhostad OpenAI-kompatibel routing-gateway för OpenClaw-agenter med kostnads- och säkerhetspolicy
Astrolabe är en öppen källkods‑AI‑gateway avsedd att ligga mellan OpenClaw‑agenter och OpenRouter. Den fungerar som en routing‑proxy som klassificerar varje begäran, löser upp ett lämpligt modellspår från ett statiskt incheckat register, kör anropet mot OpenRouter och tillämpar säkerhetspolicy kring verktygsanvändning och opålitliga indata. Målet är att låta självhostade agenter undvika att manuellt justera leverantörer och modell‑ID:er för varje tur. Projektet exponerar en uppsättning virtuella modeller som astrolabe/auto, astrolabe/coding, astrolabe/research, astrolabe/vision, astrolabe/strict-json, astrolabe/cheap och astrolabe/safe. Dessa motsvarar konkreta underliggande modeller från leverantörer som DeepSeek, OpenAI, Anthropic, MiniMax, Moonshot, xAI, Qwen, Google och Mistral, vilka underhålls i statiska manifester snarare än ett hårdkodat konfigurationsobjekt. Astrolabe centraliserar fyra bekymmer för OpenClaw‑agenter: ruttningens flexibilitet, pålitlighet och återfallsbeteende, kostnadskontroll samt säkerhetspolicy för verktygsanvändning. Det är avsett att leverera dessa utan att lägga till en databas, en hostad kontrollplanet eller någon SaaS‑beroende. OSS‑versionen är stateless och självhostad; operatören levererar sin egen OpenRouter API‑nyckel och en Astrolabe API‑nyckel, och pekar sedan OpenClaw till Astrolabe‑instansen. Vid körning skickar OpenClaw en begäran till Astrolabes POST /v1/responses-endpoint (med POST /v1/chat/completions behållna som en kompatibilitetsadapter). Astrolabe klassificerar kategori, komplexitet och modifierare, löser en lane och kandidatmodelluppsättning, kör begäran, verifierar icke-streaming-svar, tillämpar verktygs-policyskontroller, och kan eskalera en gång till en starkare modell. Det returnerar uppströms-svaret tillsammans med x-astrolabe-* headers och inline metadata. Från och med version 0.3.0 Beta är projektet tidigt och litet. Det är specifikt byggt för OpenClaw-ecosystemet snarare än som en allmän LLM-gateway, så användare utanför det flödet kan finna mer mogna alternativ i verktyg som LiteLLM eller OpenRouter's egen routing. Det statiska, incheckade modellregisteret ger reproducerbarhet men kräver manuella uppdateringar när modeller ändras.
Radbrytning av kriterier
- OpenAI-kompatibla /v1/responses och /v1/chat/completions-endpoints
- Statisk incheckade modellmanifest över flera leverantörer
- Virtuella modellbanor (auto, coding, research, vision, cheap, safe, strict-json)
- Förfrågningsklassificering efter kategori, komplexitet och modifierare
- Säkerhetspolicykontroller för verktygsanvändning med enkel eskalering
- Svarverifiering och x-astrolabe-* metadata headers
Jina AI erbjuder ett paket med grundmodeller och API:er byggda kring sökning, återvinning och multimodalt förståande. Dess kärnerbjudanden inkluderar text- och bildinbäddningar, neuronnätsåterrangörer, nollskottsklassificerare och verktyg för att bygga återvinningsförstärkta genereringsarbetsflöden (RAG) i stor skala. Plattformen är utformad för utvecklare och team som bygger sökmotorer, rekommendationssystem och AI-assistenten som behöver resonera över text, bilder och strukturerade data. Modellerna är tillgängliga via värd-API:er och öppen källkodsutgåvor, med flerspråkig support och långa sammanhangsförmågor för hantering av stora dokument. Jina AI integrerar med vanliga vektordatabaser och LLM-ramverk, vilket gör det till en praktisk byggsten för produktionsklara semantiska sök- och kunskapsåtervinningssystem.
Radbrytning av kriterier
- Text- och bilдинgsmodeller
- Neurala omranknings-API:er
- Nollskottsindelning
- Stöd för långkontextdokument
- Flerspråkig återvinning
- RAG- och vektordatabasintegreringar
GLM‑4.5
Öppen källkods-hybrid-resonemangs-MoE-grundmodell byggd för agenter, kodning och verktygsuppgifter
GLM-4.5 är en open-source stor språkmodell som har utvecklats av Zhipu AI (Z.ai) som en del av GLM-modellfamiljen. Den använder en Mixture-of-Experts (MoE)-arkitektur och en hybrid-reasoning-design som låter modellen antingen "tänka" innan den svarar eller svara direkt, med fokus på agensbaserade arbetsflöden, kodning och verktygsanvändning. Modellen stöder ett 128K-token-kontextfönster och inbyggd verktygsanrop. Modellen är avsedd för utvecklare som bygger AI-agenter och kodassistenter. Den introducerade "Interleaved Thinking", där modellen resoneraar innan varje svar och verktygsanrop, vilket senare GLM-versions (GLM-4.6 och GLM-4.7) utökade med funktioner som Preserved Thinking och Turn-level Thinking. GLM-4.5 betonar agisk kodning, integrerar med etablerade ramverk för agenter och verktyg för kodning som Claude Code, Cline, Roo Code och Kilo Code. GitHub-repositoriet innehåller modellresurser, inferenskod och exempel, medan viktorna släpps öppet för självvärd och API:t erbjuds genom Z.ai API-plattformen. Repositoriet dokumenterar nu även efterträdarmodellerna GLM-4.6 (utökar kontext till 200K token) och GLM-4.7, samt en lättviktsvariant 30B-A3B (GLM-4.7-Flash) för mer effektiv distribution. Som en öppenviktversion tävlar GLM-4.5 med andra öppna modeller riktade mot agenta och kodrelaterade användningsfall. Dess styrkor ligger i verktygsanvändning, resonemangskontroll och öppenhet, även om körning av en stor MoE-modell lokalt kräver avsevärd maskinvara, och nyare GLM-versioner har sedan dess överskridit den på benchmarktester.
Radbrytning av kriterier
- Mixture-of-Experts (MoE)-arkitektur
- Hybrid resonemang med tänkande/icotänkande lägen
- Inbyggd verktygsanrop för agenter
- Växlande tänkande före svar och verktygsanrop
- 128K sammanhangsfönster
- Agenter-kodoptimering
New API
Öppen källkod LLM-gateway som förenar flera AI-leverantörs-API:er med routing, fakturering och analys
New API är en öppen källkod LLM-gateway som tillhandahåller ett enhetligt gränssnitt för att ansluta till flera leverantörer av AI-modeller, inklusive OpenAI, Anthropic Claude och Google Gemini-stils API:er. Den fungerar som ett centralt hanteringslager som låter team dirigera begäranden över leverantörer, kontrollera åtkomst och spåra användning från en plats. Projektet riktar sig till utvecklare, plattformsgrupper och organisationer som konsumerar AI-API:er i stor skala och vill ha en enda gateway snarare än att integrera varje leverantör separat. Genom att exponera OpenAI-kompatibla slutpunkter möjliggör det befintliga applikationer och SDK:er att fungera med många backends utan att skriva om klientkod. Utöver grundläggande proxynkrav fokuserar New API på operativa problemområden som tokenbaserade kvoter, fakturering och kreditadministration, begäransrevision och användningsanalys. Dessa funktioner gör det lämpligt för att bygga interna AI-plattformar eller för att sälja vidare och mäta åtkomsten för flera användare eller team. Som ett verktyg med öppen källkod som kan vara självhostat ger det operatörer kontroll över distribution och dataväxling, vilket kan vara viktigt för kostnadshantering och efterlevnad. Det positionerar sig i samma utrymme som andra API-gateway och aggregatorer som LiteLLM och One API, från vilka det härstammar. Precis som med de flesta självhållna gateways, kräver införandet av New API infrastrukturoppställning och löpande underhåll, och bredden av providerstöd och stabilitet beror på gemenskapsbidrag.
Radbrytning av kriterier
- Unified multi-provider API-gateway
- OpenAI-kompatibla slutpunkter
- Begäran routing över modellleverantörer
- Tokenkvoter och faktureringshantering
- Användningsanalys och revision