Eerdere strijd · 2025-03-05 UTC
AI Model Serving Platforms Duel — 5 maart 2025
Uit de categorie AI Model Serving Platforms. 13 markeringen geplaatst over 3 strijders. New API pakte de kroon.
Eindstand
De line-up
De strijders
Profielen van elke tool die in deze strijd meedeed, gerangschikt op eindscore.
New API
Open-source LLM-gateway die meerdere AI-provider-API's verenigt met routing, facturering en analyse
New API is een open-source LLM-gateway dat een uniforme interface biedt voor verbinding met meerdere AI-modelproviders, waaronder OpenAI, Anthropic Claude en Google Gemini-stijl APIs. Het fungeert als een centrale beheerlaag waarmee teams verzoeken over providers kunnen routeren, toegang kunnen controleren en gebruik vanaf één locatie kunnen volgen. Het project is gericht op ontwikkelaars, platformteams en organisaties die op grote schaal AI APIs gebruiken en een enkele gateway willen hebben in plaats van elke provider afzonderlijk te integreren. Door OpenAI-compatibele eindpunten bloot te stellen, kunnen bestaande toepassingen en SDK's werken met veel backends zonder clientcode te herschrijven. Naast basisproxying richt New API zich op operationele aspecten zoals tokengebaseerde quota's, facturering en kredietbeheer, verzoekauditing en gebruiksanalyse. Deze functies maken het geschikt voor het bouwen van interne AI-platforms of voor het verkopen en meten van toegang voor meerdere gebruikers of teams. Als een open-source tool dat zelf gehost kan worden, geeft het operators controle over de implementatie en de gegevensstroom, wat belangrijk kan zijn voor kostenbeheer en naleving van regelgeving. Het positioneert zich in dezelfde ruimte als andere API-gateways en -aggregators zoals LiteLLM en One API, waar het van afgeleid is. Net als de meeste zelf-hosted gateways vereist het adopteren van New API infrastructuurinstellingen en voortdurend onderhoud, en de breedte van providerondersteuning en -stabiliteit zijn afhankelijk van bijdragen van de community.
Kritériumverdeling
- Uniforme multi-provider API-gateway
- OpenAI-compatibele eindpunten
- Request-routing over modelproviders
- Tokenquota's en factuurbeheer
- Gebruiksanalyse en -auditing
GLM‑4.5
Open-source hybride-reasoning MoE basismodel voor agentische taken, coderen en toolgebruik
GLM‑4.5 is een open-source large language model ontwikkeld door Zhipu AI (Z.ai) als onderdeel van de GLM-modelfamilie. Het maakt gebruik van een Mixture-of-Experts (MoE) architectuur en een hybride-reasoning ontwerp waarmee het model kan "denken" voordat het antwoord geeft of direct antwoordt, gericht op agentische workflows, codering en toolgebruik. Het model ondersteunt een 128K-token contextvenster en native tool calling. Het model is bedoeld voor ontwikkelaars die AI-agents en code-assistants bouwen. Het introduceerde "Interleaved Thinking", waarbij het model vóór elk antwoord en elke toolaanroep redeneren doet, wat later GLM-releases (GLM‑4.6 en GLM‑4.7) uitbreidden met functies als Preserved Thinking en Turn‑level Thinking. GLM‑4.5 legt de nadruk op agentische codering en integreert met mainstream agent frameworks en coderingshulpmiddelen zoals Claude Code, Cline, Roo Code en Kilo Code. Het GitHub‑repository bevat modelresources, inference code en voorbeelden, terwijl de gewichten openlijk worden vrijgegeven voor self‑hosting en de API via het Z.ai API Platform wordt aangeboden. Het repository documenteert nu ook opvolgermodellen GLM‑4.6 (uitbreiding tot 200K tokens) en GLM‑4.7, naast een lichte 30B‑A3B variant (GLM‑4.7‑Flash) voor efficiëntere implementatie. Als een open‑weight release concurreert GLM‑4.5 met andere open modellen die gericht zijn op agentische en coderingsusecases. Zijn sterke punten liggen in toolgebruik, redeneercontrole en openheid, hoewel het draaien van een groot MoE‑model lokaal aanzienlijke hardware vereist, en nieuwere GLM‑versies de benchmarks hebben sinds die tijd overtroffen.
Kritériumverdeling
- Mixture-of-Experts (MoE) architectuur
- Hybride reasoning met thinking/non-thinking modes
- Native tool calling voor agents
- Interleaved thinking vóór antwoorden en tool calls
- 128K context window
- Agentic coding optimization
Jina AI biedt een reeks foundationmodellen en APIs gebouwd rond zoekopdrachten, ophalen en multimodaal begrip. De kernproducten omvatten tekst- en afbeeldingembeddings, neurale herordenaars, zero-shot-classificatie en tools voor het op grote schaal bouwen van retrieval-augmented generation (RAG)-workflows. Het platform is ontworpen voor ontwikkelaars en teams die zoekmachines, aanbevelingssystemen en AI-assistenten bouwen die moeten redeneren over tekst, afbeeldingen en gestructureerde data. Modellen zijn toegankelijk via hosted APIs en open-source releases, met meertalige ondersteuning en long-context-mogelijkheden voor het verwerken van grote documenten. Jina AI integreert met gewone vector-databases en LLM-frameworks, waardoor het een praktisch bouwblok is voor production-grade semantische zoekopdrachten en kennisophalsystemen.
Kritériumverdeling
- Tekst- en afbeeldingembeddingsmodellen
- Neurale herordenaar-APIs
- Zero-shot-classificatie
- Ondersteuning voor documenten met lange context
- Meertalige ophaling
- RAG- en vector database-integraties