Tidligere kamp · 2024-08-12 UTC
AI Model Serving Platforms Oppgjør — 12. august 2024
Fra kategorien AI Model Serving Platforms. 15 merker plassert på tvers av 4 kjempere. Astrolabe tok kronen.
Endelige plasseringer
Oppstillingen
Kjemperne
Profiler av hvert verktøy som konkurrerte i denne kampen, rangert etter sin endelige poengsum.
Astrolabe
Selv-hostet, OpenAI-kompatibel ruting-gateway for OpenClaw-agenter med kostnads- og sikkerhetspolicy
Astrolabe er en åpen kildekode AI-gateway som plasseres mellom OpenClaw-agenter og OpenRouter. Den fungerer som en ruteproxy som klassifiserer hver forespørsel, bestemmer en passende modellbane fra en statisk registrert rullliste, utfører kallet mot OpenRouter, og anvender en sikkerhetspolicy for verktøybruk og upålitelige innganger. Målet er å la selvhostede agenter unngå å manuelt finjustere leverandører og modell‑ID-er for hver interaksjon. Prosjektet eksponerer et sett med virtuelle modeller, for eksempel astrolabe/auto, astrolabe/coding, astrolabe/research, astrolabe/vision, astrolabe/strict-json, astrolabe/cheap og astrolabe/safe. Disse peker på konkrete underliggende modeller fra leverandører som DeepSeek, OpenAI, Anthropic, MiniMax, Moonshot, xAI, Qwen, Google og Mistral, som holdes i statiske manifestfiler i stedet for et hardkodet konfigurasjonsobjekt. Astrolabe sentraliserer fire bekymringer for OpenClaw‑agenter: rute‑fleksibilitet, pålitelighet og fallback‑oppførsel, kostnadsstyring og sikkerhetspolitikk for verktøybruk. Det er ment å levere disse uten å legge til en database, en administrert kontrollplan eller noen SaaS‑avhengighet. OSS‑versjonen er stateless og selvhostet; operatøren leverer sin egen OpenRouter API‑nøkkel og en Astrolabe API‑nøkkel, og peker deretter OpenClaw mot Astrolabe‑instansen. Under kjøring sender OpenClaw en forespørsel til Astrolabes POST /v1/responses-endpoint (med POST /v1/chat/completions beholdt som en kompatibilitetadapter). Astrolabe klassifiserer kategori, kompleksitet og modifikatorer, løser en lane og kandidatmodellsett, kjører forespørselen, verifiserer ikke‑strømmende svar, gjennomfører verktøypolicy‑sjekker, og kan eskalere én gang til en sterkere modell. Den returnerer oppstrøms svaret sammen med x-astrolabe-*‑headers og inline metadata. Fra versjon 0.3.0 Beta er prosjektet i en tidlig fase og lite. Det er spesialdesignet for OpenClaw‑økosystemet og ikke som en allsidig LLM‑gateway, så brukere utenfor dette arbeidsflyt‑miljøet kan finne mer modne alternativer i verktøy som LiteLLM eller OpenRouter sitt eget rutingssystem. Dets statiske, inncheckede modell‑roster gir reproduksjonsevne, men krever manuelle oppdateringer når modeller endres.
Kriteriumfordeling
- OpenAI-kompatible /v1/responses og /v1/chat/completions-endepunkter
- Statisk sjekket inn modellmanifester over flere leverandører
- Virtuelle modellbaner (auto, coding, research, vision, cheap, safe, strict-json)
- Anmodningklassifisering etter kategori, kompleksitet og modifikatorer
- Sikkerhetspolicy-sjekk for verktøybruk med enkel eskalering
- Verifisering av svar og x-astrolabe-* metadata-hoder
Jina AI tilbyr et sett med grunnleggende modeller og API‑er bygget rundt søk, gjenfinning og multimodalt forståelse. Hovedtilbudene inkluderer tekst‑ og bilde‑embedder, nevrale rerankere, zero‑shot klassifiserere, og verktøy for å bygge retrieval‑augmented generation (RAG)-arbeidsflyter i skala. Plattformen er designet for utviklere og team som bygger søkemotorer, anbefalingssystemer og AI‑assistenter som trenger å resonnere på tvers av tekst, bilder og strukturerte data. Modeller er tilgjengelige via vertede API‑er og open‑source‑utgivelser, med flerspråklig støtte og langkontekstkapasitet for håndtering av store dokumenter. Jina AI integrerer med vanlige vektor‑databaser og LLM‑rammeverk, og gjør det til en praktisk byggeblokk for produksjonsklare semantiske søk‑ og kunnskapsinnhentingssystemer.
Kriteriumfordeling
- Tekst- og bilde-embedding-modeller
- Nevrale omrangering-APIer
- Zero-shot klassifisering
- Støtte for dokumenter med lang kontekst
- Flerspråklig gjenfinning
- RAG- og vektordatabase-integrasjoner
GLM‑4.5
Open‑source hybrid‑resonnering MoE grunnmodell bygget for agentbaserte, koding‑ og verktøybruk‑oppgaver
GLM-4.5 er en åpen kildekode stor språkmodell utviklet av Zhipu AI (Z.ai) som en del av GLM-modellfamilien. Den bruker en Mixture-of-Experts (MoE)-arkitektur og et hybrid‑resoneringsdesign som gjør at modellen enten kan «tenke» før den svarer eller svare direkte, med mål om agentbaserte arbeidsflyter, koding og verktøybruk. Modellen støtter et kontekstvindu på 128 K‑token og innebygd verktøykalling. Modellen er rettet mot utviklere som bygger AI‑agenter og kodeassistenter. Den introduserte "Interleaved Thinking", der modellen resonerer før hver respons og verktøykall, noe som senere GLM‑utgivelser (GLM‑4.6 og GLM‑4.7) utvidet med funksjoner som Preserved Thinking og Turn‑level Thinking. GLM‑4.5 legger vekt på agentbasert koding, og integrerer med vanlige agent‑rammeverk og kodeverktøy som Claude Code, Cline, Roo Code og Kilo Code. GitHub‑repoen inneholder modellressurser, inferenskode og eksempler, mens vektene er gjort tilgjengelige åpent for egen hosting, og API‑et tilbys via Z.ai API Platform. Repoen dokumenterer nå også etterfølgermodellene GLM-4.6 (som utvider konteksten til 200 K‑tokens) og GLM-4.7, samt en lettvektig 30B‑A3B‑variant (GLM-4.7-Flash) for mer effektiv utrulling. Som en open‑weight‑utgivelse konkurrerer GLM‑4.5 med andre åpne modeller som er rettet mot agentbaserte og kodings‑brukstilfeller. Styrkene ligger i verktøybruk, resonneringskontroll og åpenhet, selv om det å kjøre en stor MoE‑modell lokalt krever betydelig maskinvare, og nyere GLM‑versjoner har siden overgått den på benchmark‑tester.
Kriteriumfordeling
- Mixture-of-Experts (MoE)‑arkitektur
- Hybrid‑resonnering med tenke‑/ikke‑tenkemodus
- Innebygd verktøy‑kalling for agenter
- Vekslende tenkning før svar og verktøykall
- 128K kontekstvindu
- Agentbasert kodeoptimalisering
New API
Åpen kildekode LLM-gateway som forener flere AI-leverandørs API-er med rutelegging, fakturering og analyse
New API er en open-source LLM‑gateway som gir et enhetlig grensesnitt for å koble til flere AI‑modellleverandører, blant annet OpenAI, Anthropic Claude og Google Gemini‑lignende APIer. Det fungerer som et sentralt ledelsesskikt som lar team rute forespørsler mellom leverandører, kontrollere tilgang og spore bruken fra ett sted. Prosjektet er rettet mot utviklere, plattformteam og organisasjoner som bruker AI‑APIer i stor skala og ønsker en enkelt gateway i stedet for å integrere hver leverandør separat. Ved å eksponere OpenAI‑kompatible endepunkter gjør det at eksisterende applikasjoner og SDK‑er kan jobbe med mange back‑ends uten å måtte omskrive klientkode. Utover enkel proxying fokuserer New API på operative bekymringer som tokenbaserte kvoter, fakturering og kredittstyring, forespørselsgjennomgang og bruksanalyse. Disse funksjonene gjør det egnet for å bygge interne AI-plattformer eller videresalg/måling av tilgang til flere brukere eller team. Som et open-source, selvhostbart verktøy gir det operatører kontroll over utrulling og dataflyt, noe som kan være viktig for kostnadsstyring og samsvar. Det posisjonerer seg i samme rom som andre API gateways og aggregatorer som LiteLLM og One API, fra hvilke det er inspirert. Som med de fleste selvhostede gateways krever adopsjon av New API oppsett av infrastruktur og løpende vedlikehold, og bredden av leverandørstøtte og stabilitet avhenger av fellesskapets bidrag.
Kriteriumfordeling
- Felles multi-leverandørs API-gateway
- OpenAI-kompatible endepunkter
- Rutelegging av forespørsler over modellleverandører
- Tokenkvoter og fakturering
- Bruksanalyse og revisjon