AI Model Serving Platforms Uppgörelse — 5 mars 2025

1

New API

Öppen källkod LLM-gateway som förenar flera AI-leverantörs-API:er med routing, fakturering och analys

4.3 (4)

Freemium

Fullständig recension

New API är en öppen källkod LLM-gateway som tillhandahåller ett enhetligt gränssnitt för att ansluta till flera leverantörer av AI-modeller, inklusive OpenAI, Anthropic Claude och Google Gemini-stils API:er. Den fungerar som ett centralt hanteringslager som låter team dirigera begäranden över leverantörer, kontrollera åtkomst och spåra användning från en plats. Projektet riktar sig till utvecklare, plattformsgrupper och organisationer som konsumerar AI-API:er i stor skala och vill ha en enda gateway snarare än att integrera varje leverantör separat. Genom att exponera OpenAI-kompatibla slutpunkter möjliggör det befintliga applikationer och SDK:er att fungera med många backends utan att skriva om klientkod. Utöver grundläggande proxynkrav fokuserar New API på operativa problemområden som tokenbaserade kvoter, fakturering och kreditadministration, begäransrevision och användningsanalys. Dessa funktioner gör det lämpligt för att bygga interna AI-plattformar eller för att sälja vidare och mäta åtkomsten för flera användare eller team. Som ett verktyg med öppen källkod som kan vara självhostat ger det operatörer kontroll över distribution och dataväxling, vilket kan vara viktigt för kostnadshantering och efterlevnad. Det positionerar sig i samma utrymme som andra API-gateway och aggregatorer som LiteLLM och One API, från vilka det härstammar. Precis som med de flesta självhållna gateways, kräver införandet av New API infrastrukturoppställning och löpande underhåll, och bredden av providerstöd och stabilitet beror på gemenskapsbidrag.

• Unified multi-provider API-gateway
• OpenAI-kompatibla slutpunkter
• Begäran routing över modellleverantörer
• Tokenkvoter och faktureringshantering
• Användningsanalys och revision

2

GLM‑4.5

Öppen källkods-hybrid-resonemangs-MoE-grundmodell byggd för agenter, kodning och verktygsuppgifter

4.5 (6)

Gratis

Fullständig recension

GLM-4.5 är en open-source stor språkmodell som har utvecklats av Zhipu AI (Z.ai) som en del av GLM-modellfamiljen. Den använder en Mixture-of-Experts (MoE)-arkitektur och en hybrid-reasoning-design som låter modellen antingen "tänka" innan den svarar eller svara direkt, med fokus på agensbaserade arbetsflöden, kodning och verktygsanvändning. Modellen stöder ett 128K-token-kontextfönster och inbyggd verktygsanrop. Modellen är avsedd för utvecklare som bygger AI-agenter och kodassistenter. Den introducerade "Interleaved Thinking", där modellen resoneraar innan varje svar och verktygsanrop, vilket senare GLM-versions (GLM-4.6 och GLM-4.7) utökade med funktioner som Preserved Thinking och Turn-level Thinking. GLM-4.5 betonar agisk kodning, integrerar med etablerade ramverk för agenter och verktyg för kodning som Claude Code, Cline, Roo Code och Kilo Code. GitHub-repositoriet innehåller modellresurser, inferenskod och exempel, medan viktorna släpps öppet för självvärd och API:t erbjuds genom Z.ai API-plattformen. Repositoriet dokumenterar nu även efterträdarmodellerna GLM-4.6 (utökar kontext till 200K token) och GLM-4.7, samt en lättviktsvariant 30B-A3B (GLM-4.7-Flash) för mer effektiv distribution. Som en öppenviktversion tävlar GLM-4.5 med andra öppna modeller riktade mot agenta och kodrelaterade användningsfall. Dess styrkor ligger i verktygsanvändning, resonemangskontroll och öppenhet, även om körning av en stor MoE-modell lokalt kräver avsevärd maskinvara, och nyare GLM-versioner har sedan dess överskridit den på benchmarktester.

• Mixture-of-Experts (MoE)-arkitektur
• Hybrid resonemang med tänkande/icotänkande lägen
• Inbyggd verktygsanrop för agenter
• Växlande tänkande före svar och verktygsanrop
• 128K sammanhangsfönster
• Agenter-kodoptimering

3

Jina AI

Multimodalt sökfoundation för inbäddningar, omrankning och RAG-pipelines

4.2 (5)

Gratis

Fullständig recension

Jina AI erbjuder ett paket med grundmodeller och API:er byggda kring sökning, återvinning och multimodalt förståande. Dess kärnerbjudanden inkluderar text- och bildinbäddningar, neuronnätsåterrangörer, nollskottsklassificerare och verktyg för att bygga återvinningsförstärkta genereringsarbetsflöden (RAG) i stor skala. Plattformen är utformad för utvecklare och team som bygger sökmotorer, rekommendationssystem och AI-assistenten som behöver resonera över text, bilder och strukturerade data. Modellerna är tillgängliga via värd-API:er och öppen källkodsutgåvor, med flerspråkig support och långa sammanhangsförmågor för hantering av stora dokument. Jina AI integrerar med vanliga vektordatabaser och LLM-ramverk, vilket gör det till en praktisk byggsten för produktionsklara semantiska sök- och kunskapsåtervinningssystem.

• Text- och bilдинgsmodeller
• Neurala omranknings-API:er
• Nollskottsindelning
• Stöd för långkontextdokument
• Flerspråkig återvinning
• RAG- och vektordatabasintegreringar