AI Model Serving Platforms Duell — 5. März 2025

1

New API

Open-Source-LLM-Gateway, der mehrere KI-Anbieter-APIs vereint – mit Routing, Abrechnung und Analyse

4.3 (4)

Freemium

Volle Rezension

New API ist ein Open-Source-LLM-Gateway, das eine einheitliche Schnittstelle für die Verbindung zu mehreren KI-Modell-Anbietern bietet, darunter OpenAI, Anthropic Claude und Google Gemini-ähnliche APIs. Es fungiert als zentrale Verwaltungsschicht, die es Teams ermöglicht, Anfragen über verschiedene Anbieter zu routen, Zugriffe zu steuern und die Nutzung von einem Ort aus zu verfolgen. Das Projekt richtet sich an Entwickler, Plattform-Teams und Organisationen, die KI-APIs in großem Maßstab konsumieren und einen einzelnen Gateway bevorzugen, anstatt jeden Anbieter einzeln zu integrieren. Durch die Bereitstellung OpenAI-kompatibler Endpunkte lässt es bestehende Anwendungen und SDKs mit vielen Backends arbeiten, ohne Client-Code umzuschreiben. Neben dem einfachen Proxying konzentriert sich New API auf betriebliche Aspekte wie tokenbasierte Kontingente, Abrechnung und Kreditverwaltung, Anfrage‑Auditing und Nutzungsanalyse. Diese Funktionen machen es geeignet für den Aufbau interner KI-Plattformen oder das Wiederverkaufen/Messen des Zugangs für mehrere Benutzer oder Teams. Als Open-Source‑, selbsthostbares Tool gibt es Betreibern die Kontrolle über Deployment und Datenfluss, was für Kostenmanagement und Compliance wichtig sein kann. Es positioniert sich im selben Markt wie andere API‑Gateways und Aggregatoren wie LiteLLM und One API, von denen es abgeleitet ist. Wie bei den meisten selbstgehosteten Gateways erfordert die Einführung von New API eine Infrastrukturaufsetzung und kontinuierliche Wartung, und das Ausmaß der Anbieterunterstützung sowie die Stabilität hängen von den Community-Beiträgen ab.

• Zentralisiertes Multi-Provider-API-Gateway
• OpenAI-kompatible Endpunkte
• Anfrage‑Routing über mehrere Modellanbieter
• Token‑Kontingente und Abrechnung
• Nutzungsanalyse und Auditing

2

GLM‑4.5

Open-source hybrid-reasoning MoE foundation model built for agentic, coding, und tool-use tasks

4.5 (6)

Kostenlos

Volle Rezension

GLM‑4.5 ist ein Open‑Source‑Großsprachmodell, das von Zhipu AI (Z.ai) als Teil der GLM‑Modellfamilie entwickelt wurde. Es verwendet eine Mixture‑of‑Experts‑(MoE‑)Architektur und ein Hybrid‑Reasoning‑Design, das dem Modell ermöglicht, entweder zuerst „nachzudenken“ oder direkt zu antworten, und richtet sich an agentenbasierte Workflows, Programmierung und Werkzeugnutzung. Das Modell unterstützt ein 128 K‑Token‑Kontextfenster und native Werkzeugaufrufe. Das Modell richtet sich an Entwickler, die KI‑Agenten und Coding‑Assistenten bauen. Es führte das Konzept des "Interleaved Thinking" ein, bei dem das Modell vor jeder Antwort und jedem Werkzeugaufruf nachdenkt. In späteren GLM‑Versionen (GLM‑4.6 und GLM‑4.7) wurde dies um Funktionen wie Preserved Thinking und Turn‑level Thinking erweitert. GLM‑4.5 legt besonderen Fokus auf agentisches Coding und integriert sich in gängige Agent‑Frameworks sowie Coding‑Tools wie Claude Code, Cline, Roo Code und Kilo Code. Das GitHub-Repository enthält Modellressourcen, Inferenzcode und Beispiele, während die Gewichte offen für das Self‑Hosting bereitgestellt werden und die API über die Z.ai API Platform angeboten wird. Das Repository dokumentiert nun auch die Nachfolgemodelle GLM‑4.6 (Erweiterung des Kontextes auf 200 K Token) und GLM‑4.7 sowie eine leichte 30B‑A3B‑Variante (GLM‑4.7‑Flash) für eine effizientere Bereitstellung. Als Open‑Weight‑Release konkurriert GLM‑4.5 mit anderen offenen Modellen, die auf agentische und codierungsbezogene Anwendungsfälle abzielen. Seine Stärken liegen in der Werkzeugnutzung, der Steuerung des Reasonings und der Offenheit, wobei das lokale Ausführen eines großen MoE‑Modells erhebliche Hardware erfordert, und neuere GLM‑Versionen haben es seitdem in Benchmarks übertroffen.

• Mixture-of-Experts (MoE)-Architektur
• Hybride Denkfähigkeiten mit Denkfähigkeit/Nicht-Denkfähigkeit-Moden
• Native Werkzeugaufrufe für Agenten
• Interleaved Denkfähigkeit vor Antworten und Werkzeugaufrufen
• 128K Kontextfenster
• Agente Kodierungsoptimierung

3

Jina AI

Multimodale Suchgrundlage für Embeddings, Reranking und RAG-Pipelines.

4.2 (5)

Kostenlos

Volle Rezension

Jina AI bietet eine Suite von Foundation‑Modellen und APIs, die sich um Suche, Retrieval und multimodales Verständnis drehen. Zu den Kernangeboten gehören Text‑ und Bild‑Embeddings, neuronale Reranker, Zero‑Shot‑Classifier und Werkzeuge zum Aufbau von Retrieval‑augmented Generation (RAG)‑Workflows in großem Maßstab. Die Plattform ist für Entwickler*innen und Teams konzipiert, die Suchmaschinen, Empfehlungssysteme und KI‑Assistenten bauen, die über Text, Bilder und strukturierte Daten hinweg schlussfolgern müssen. Modelle sind über gehostete APIs und Open‑Source‑Veröffentlichungen zugänglich, mit mehrsprachiger Unterstützung und Langzeit‑Kontext‑Fähigkeiten zur Verarbeitung großer Dokumente. Jina AI integriert sich in gängige Vektor‑Datenbanken und LLM‑Frameworks und ist damit ein praktischer Baustein für produktionsreife semantische Suche und Wissensabruf‑Systeme.

• Text- und Bild-Einbettungsmodelle
• Neuronale Reranker-APIs
• Zero-Shot-Klassifikation
• Langzeitausdrücke für Dokumente
• Multilinguale Suche
• RAG- und Vektordatenspeicherverbundungen