Eerdere strijd · 2024-08-12 UTC
AI Model Serving Platforms Duel — 12 augustus 2024
Uit de categorie AI Model Serving Platforms. 15 markeringen geplaatst over 4 strijders. Astrolabe pakte de kroon.
Eindstand
De line-up
De strijders
Profielen van elke tool die in deze strijd meedeed, gerangschikt op eindscore.
Astrolabe
Zelfgehoste OpenAI-compatibele routinggateway voor OpenClaw-agenten met kosten- en veiligheidsbeleid
Astrolabe is een open-source AI-gateway die tussen OpenClaw-agenten en OpenRouter plaatst. Het fungeert als een routingproxy die elke aanvraag classificeert, een geschikte modellane kiest uit een statische, gecontroleerde lijst, de oproep uitvoert tegen OpenRouter, en een veiligheidsbeleid toepast rond het gebruik van tools en onveilige invoer. Het doel is dat zelfgehoste agenten handmatig aanpassen van providers en model-IDs per beurt vermijden. Het project exposeert een reeks virtuele modellen, zoals astrolabe/auto, astrolabe/coding, astrolabe/research, astrolabe/vision, astrolabe/strict-json, astrolabe/cheap en astrolabe/safe. Deze wijzen naar concrete onderliggende modellen van aanbieders zoals DeepSeek, OpenAI, Anthropic, MiniMax, Moonshot, xAI, Qwen, Google en Mistral, die worden onderhouden in statische manifesten in plaats van in een hardcoded configuratieobject. Astrolabe centraliseert vier zorgen voor OpenClaw-agenten: routingflexibiliteit, betrouwbaarheid en fallbackgedrag, kostenbeheersing en veiligheidsbeleid voor toolgebruik. Het is bedoeld om dit te leveren zonder een database, een gehoste control plane of enige SaaS-afhankelijkheid toe te voegen. De OSS-versie is stateless en zelfgehost; de operator levert hun eigen OpenRouter API-sleutel en een Astrolabe API-sleutel, waarna OpenClaw naar de Astrolabe-instantie wijst. Bij runtime stuurt OpenClaw een verzoek naar Astrolabe's POST /v1/responses endpoint (met POST /v1/chat/completions behouden als compatibiliteitsadapter). Astrolabe classificeert categorie, complexiteit en modifiers, bepaalt een lane en kandidaatmodelset, voert het verzoek uit, verifieert niet-streaming antwoorden, past toolpolicychecks toe en kan eenmaal escaleren naar een sterker model. Het retourneert het upstreamantwoord samen met x-astrolabe-* headers en inline metadata. Vanaf versie 0.3.0 Beta bevindt het project zich in een vroeg stadium en is klein. Het is speciaal gebouwd voor het OpenClaw-ecosysteem in plaats van een algemene LLM-gateway, dus gebruikers buiten die workflow kunnen meer volwassen alternatieven vinden in tools zoals LiteLLM of de eigen routing van OpenRouter. De statische, gecontroleerde modellijst biedt reproduceerbaarheid maar vereist handmatige updates wanneer modellen veranderen.
Kritériumverdeling
- OpenAI-compatibele /v1/responses en /v1/chat/completions endpoints
- Statische, gecontroleerde modelmanifesten over meerdere providers
- Virtuele modellanen (auto, coding, research, vision, cheap, safe, strict-json)
- Verzoekclassificatie op categorie, complexiteit en modifiers
- Veiligheidsbeleid voor toolgebruik met een enkele escalatie
- Verificatie van antwoorden en x-astrolabe-* metadata headers
Jina AI biedt een reeks foundationmodellen en APIs gebouwd rond zoekopdrachten, ophalen en multimodaal begrip. De kernproducten omvatten tekst- en afbeeldingembeddings, neurale herordenaars, zero-shot-classificatie en tools voor het op grote schaal bouwen van retrieval-augmented generation (RAG)-workflows. Het platform is ontworpen voor ontwikkelaars en teams die zoekmachines, aanbevelingssystemen en AI-assistenten bouwen die moeten redeneren over tekst, afbeeldingen en gestructureerde data. Modellen zijn toegankelijk via hosted APIs en open-source releases, met meertalige ondersteuning en long-context-mogelijkheden voor het verwerken van grote documenten. Jina AI integreert met gewone vector-databases en LLM-frameworks, waardoor het een praktisch bouwblok is voor production-grade semantische zoekopdrachten en kennisophalsystemen.
Kritériumverdeling
- Tekst- en afbeeldingembeddingsmodellen
- Neurale herordenaar-APIs
- Zero-shot-classificatie
- Ondersteuning voor documenten met lange context
- Meertalige ophaling
- RAG- en vector database-integraties
GLM‑4.5
Open-source hybride-reasoning MoE basismodel voor agentische taken, coderen en toolgebruik
GLM‑4.5 is een open-source large language model ontwikkeld door Zhipu AI (Z.ai) als onderdeel van de GLM-modelfamilie. Het maakt gebruik van een Mixture-of-Experts (MoE) architectuur en een hybride-reasoning ontwerp waarmee het model kan "denken" voordat het antwoord geeft of direct antwoordt, gericht op agentische workflows, codering en toolgebruik. Het model ondersteunt een 128K-token contextvenster en native tool calling. Het model is bedoeld voor ontwikkelaars die AI-agents en code-assistants bouwen. Het introduceerde "Interleaved Thinking", waarbij het model vóór elk antwoord en elke toolaanroep redeneren doet, wat later GLM-releases (GLM‑4.6 en GLM‑4.7) uitbreidden met functies als Preserved Thinking en Turn‑level Thinking. GLM‑4.5 legt de nadruk op agentische codering en integreert met mainstream agent frameworks en coderingshulpmiddelen zoals Claude Code, Cline, Roo Code en Kilo Code. Het GitHub‑repository bevat modelresources, inference code en voorbeelden, terwijl de gewichten openlijk worden vrijgegeven voor self‑hosting en de API via het Z.ai API Platform wordt aangeboden. Het repository documenteert nu ook opvolgermodellen GLM‑4.6 (uitbreiding tot 200K tokens) en GLM‑4.7, naast een lichte 30B‑A3B variant (GLM‑4.7‑Flash) voor efficiëntere implementatie. Als een open‑weight release concurreert GLM‑4.5 met andere open modellen die gericht zijn op agentische en coderingsusecases. Zijn sterke punten liggen in toolgebruik, redeneercontrole en openheid, hoewel het draaien van een groot MoE‑model lokaal aanzienlijke hardware vereist, en nieuwere GLM‑versies de benchmarks hebben sinds die tijd overtroffen.
Kritériumverdeling
- Mixture-of-Experts (MoE) architectuur
- Hybride reasoning met thinking/non-thinking modes
- Native tool calling voor agents
- Interleaved thinking vóór antwoorden en tool calls
- 128K context window
- Agentic coding optimization
New API
Open-source LLM-gateway die meerdere AI-provider-API's verenigt met routing, facturering en analyse
New API is een open-source LLM-gateway dat een uniforme interface biedt voor verbinding met meerdere AI-modelproviders, waaronder OpenAI, Anthropic Claude en Google Gemini-stijl APIs. Het fungeert als een centrale beheerlaag waarmee teams verzoeken over providers kunnen routeren, toegang kunnen controleren en gebruik vanaf één locatie kunnen volgen. Het project is gericht op ontwikkelaars, platformteams en organisaties die op grote schaal AI APIs gebruiken en een enkele gateway willen hebben in plaats van elke provider afzonderlijk te integreren. Door OpenAI-compatibele eindpunten bloot te stellen, kunnen bestaande toepassingen en SDK's werken met veel backends zonder clientcode te herschrijven. Naast basisproxying richt New API zich op operationele aspecten zoals tokengebaseerde quota's, facturering en kredietbeheer, verzoekauditing en gebruiksanalyse. Deze functies maken het geschikt voor het bouwen van interne AI-platforms of voor het verkopen en meten van toegang voor meerdere gebruikers of teams. Als een open-source tool dat zelf gehost kan worden, geeft het operators controle over de implementatie en de gegevensstroom, wat belangrijk kan zijn voor kostenbeheer en naleving van regelgeving. Het positioneert zich in dezelfde ruimte als andere API-gateways en -aggregators zoals LiteLLM en One API, waar het van afgeleid is. Net als de meeste zelf-hosted gateways vereist het adopteren van New API infrastructuurinstellingen en voortdurend onderhoud, en de breedte van providerondersteuning en -stabiliteit zijn afhankelijk van bijdragen van de community.
Kritériumverdeling
- Uniforme multi-provider API-gateway
- OpenAI-compatibele eindpunten
- Request-routing over modelproviders
- Tokenquota's en factuurbeheer
- Gebruiksanalyse en -auditing