AI Model Serving Platforms Oppgjør — 5. mars 2025

1

New API

Åpen kildekode LLM-gateway som forener flere AI-leverandørs API-er med rutelegging, fakturering og analyse

4.3 (4)

Freemium

Full anmeldelse

New API er en open-source LLM‑gateway som gir et enhetlig grensesnitt for å koble til flere AI‑modellleverandører, blant annet OpenAI, Anthropic Claude og Google Gemini‑lignende APIer. Det fungerer som et sentralt ledelsesskikt som lar team rute forespørsler mellom leverandører, kontrollere tilgang og spore bruken fra ett sted. Prosjektet er rettet mot utviklere, plattformteam og organisasjoner som bruker AI‑APIer i stor skala og ønsker en enkelt gateway i stedet for å integrere hver leverandør separat. Ved å eksponere OpenAI‑kompatible endepunkter gjør det at eksisterende applikasjoner og SDK‑er kan jobbe med mange back‑ends uten å måtte omskrive klientkode. Utover enkel proxying fokuserer New API på operative bekymringer som tokenbaserte kvoter, fakturering og kredittstyring, forespørselsgjennomgang og bruksanalyse. Disse funksjonene gjør det egnet for å bygge interne AI-plattformer eller videresalg/måling av tilgang til flere brukere eller team. Som et open-source, selvhostbart verktøy gir det operatører kontroll over utrulling og dataflyt, noe som kan være viktig for kostnadsstyring og samsvar. Det posisjonerer seg i samme rom som andre API gateways og aggregatorer som LiteLLM og One API, fra hvilke det er inspirert. Som med de fleste selvhostede gateways krever adopsjon av New API oppsett av infrastruktur og løpende vedlikehold, og bredden av leverandørstøtte og stabilitet avhenger av fellesskapets bidrag.

• Felles multi-leverandørs API-gateway
• OpenAI-kompatible endepunkter
• Rutelegging av forespørsler over modellleverandører
• Tokenkvoter og fakturering
• Bruksanalyse og revisjon

2

GLM‑4.5

Open‑source hybrid‑resonnering MoE grunnmodell bygget for agentbaserte, koding‑ og verktøybruk‑oppgaver

4.5 (6)

Gratis

Full anmeldelse

GLM-4.5 er en åpen kildekode stor språkmodell utviklet av Zhipu AI (Z.ai) som en del av GLM-modellfamilien. Den bruker en Mixture-of-Experts (MoE)-arkitektur og et hybrid‑resoneringsdesign som gjør at modellen enten kan «tenke» før den svarer eller svare direkte, med mål om agentbaserte arbeidsflyter, koding og verktøybruk. Modellen støtter et kontekstvindu på 128 K‑token og innebygd verktøykalling. Modellen er rettet mot utviklere som bygger AI‑agenter og kodeassistenter. Den introduserte "Interleaved Thinking", der modellen resonerer før hver respons og verktøykall, noe som senere GLM‑utgivelser (GLM‑4.6 og GLM‑4.7) utvidet med funksjoner som Preserved Thinking og Turn‑level Thinking. GLM‑4.5 legger vekt på agentbasert koding, og integrerer med vanlige agent‑rammeverk og kodeverktøy som Claude Code, Cline, Roo Code og Kilo Code. GitHub‑repoen inneholder modellressurser, inferenskode og eksempler, mens vektene er gjort tilgjengelige åpent for egen hosting, og API‑et tilbys via Z.ai API Platform. Repoen dokumenterer nå også etterfølgermodellene GLM-4.6 (som utvider konteksten til 200 K‑tokens) og GLM-4.7, samt en lettvektig 30B‑A3B‑variant (GLM-4.7-Flash) for mer effektiv utrulling. Som en open‑weight‑utgivelse konkurrerer GLM‑4.5 med andre åpne modeller som er rettet mot agentbaserte og kodings‑brukstilfeller. Styrkene ligger i verktøybruk, resonneringskontroll og åpenhet, selv om det å kjøre en stor MoE‑modell lokalt krever betydelig maskinvare, og nyere GLM‑versjoner har siden overgått den på benchmark‑tester.

• Mixture-of-Experts (MoE)‑arkitektur
• Hybrid‑resonnering med tenke‑/ikke‑tenkemodus
• Innebygd verktøy‑kalling for agenter
• Vekslende tenkning før svar og verktøykall
• 128K kontekstvindu
• Agentbasert kodeoptimalisering

3

Jina AI

Multimodal søkebasert plattform for embeddings, omrangering og RAG-pipelines

4.2 (5)

Gratis

Full anmeldelse

Jina AI tilbyr et sett med grunnleggende modeller og API‑er bygget rundt søk, gjenfinning og multimodalt forståelse. Hovedtilbudene inkluderer tekst‑ og bilde‑embedder, nevrale rerankere, zero‑shot klassifiserere, og verktøy for å bygge retrieval‑augmented generation (RAG)-arbeidsflyter i skala. Plattformen er designet for utviklere og team som bygger søkemotorer, anbefalingssystemer og AI‑assistenter som trenger å resonnere på tvers av tekst, bilder og strukturerte data. Modeller er tilgjengelige via vertede API‑er og open‑source‑utgivelser, med flerspråklig støtte og langkontekstkapasitet for håndtering av store dokumenter. Jina AI integrerer med vanlige vektor‑databaser og LLM‑rammeverk, og gjør det til en praktisk byggeblokk for produksjonsklare semantiske søk‑ og kunnskapsinnhentingssystemer.

• Tekst- og bilde-embedding-modeller
• Nevrale omrangering-APIer
• Zero-shot klassifisering
• Støtte for dokumenter med lang kontekst
• Flerspråklig gjenfinning
• RAG- og vektordatabase-integrasjoner