AI Model Serving Platforms Duel — 5 mars 2025

1

New API

Passerelle LLM open-source unifiant plusieurs API de fournisseurs d'IA avec routage, facturation et analytics

4.3 (4)

Freemium

Avis complet

New API est une passerelle LLM open-source qui offre une interface unifiée pour se connecter à plusieurs fournisseurs de modèles IA, y compris les API style OpenAI, Anthropic Claude et Google Gemini. Elle agit comme une couche de gestion centrale permettant aux équipes de router les requêtes entre les fournisseurs, de contrôler l'accès et de suivre l'utilisation depuis un seul endroit. Le projet s'adresse aux développeurs, aux équipes plateformes et aux organisations qui consomment des API IA à grande échelle et souhaitent une passerelle unique plutôt que d'intégrer chaque fournisseur séparément. En exposant des points de terminaison compatibles OpenAI, il permet aux applications et SDKs existants de fonctionner avec de nombreux back‑ends sans réécrire le code client. Au-delà du simple proxy, New API se concentre sur les aspects opérationnels tels que les quotas basés sur les jetons, la facturation et la gestion des crédits, l'audit des requêtes et l'analytique d'utilisation. Ces fonctionnalités le rendent adapté à la construction de plateformes IA internes ou à la revente/méthode de facturation d'accès à plusieurs utilisateurs ou équipes. En tant qu'outil open-source auto-hébergeable, il donne aux opérateurs le contrôle sur le déploiement et le flux de données, ce qui peut être important pour la gestion des coûts et la conformité. Il se positionne dans le même espace que d'autres passerelles et agrégateurs d'API comme LiteLLM et One API, dont il s'inspire. Comme la plupart des passerelles auto-hébergées, l'adoption de New API nécessite la mise en place d'infrastructures et une maintenance continue, et l'étendue du support des fournisseurs ainsi que la stabilité dépendent des contributions de la communauté.

• Passerelle API multi-fournisseur unifiée
• Points de terminaison compatibles OpenAI
• Routage des requêtes entre les fournisseurs de modèles
• Gestion des quotas de jetons et de la facturation
• Analytique et audit d'utilisation

2

GLM‑4.5

Modèle de langage open-source à raisonnement hybride de base MoE conçu pour les tâches agenty, de codage et d'utilisation d'outils

4.5 (6)

Gratuit

Avis complet

GLM-4.5 est un modèle de langage open-source à grande échelle développé par Zhipu AI (Z.ai) dans le cadre de la famille de modèles GLM. Il utilise une architecture Mixture-of-Experts (MoE) et une conception de raisonnement hybride qui permet au modèle de « réfléchir » avant de répondre ou de répondre directement, en visant les flux de travail agiles, la programmation et l'utilisation d'outils. Le modèle prend en charge une fenêtre de contexte de 128K tokens et des appels d'outils natifs. Le modèle est positionné pour les développeurs qui créent des agents d'intelligence artificielle et des assistants de codage. Il a introduit la « Interleaved Thinking », où le modèle réfléchit avant chaque réponse et appel de fonction, que les versions ultérieures de GLM (GLM-4.6 et GLM-4.7) ont étendu avec des fonctionnalités telles que Preserved Thinking et Turn-level Thinking. GLM-4.5 met l'accent sur le codage agentiel, en s'intégrant aux principaux frameworks d'agents et outils de codage tels que Claude Code, Cline, Roo Code et Kilo Code. Le dépôt GitHub héberge les ressources du modèle, le code d'inférence et des exemples, tandis que les poids sont publiés ouvertement pour l'auto-hébergement et l'API est proposée via la plate-forme API Z.ai. Le dépôt documente désormais également les modèles successeurs GLM-4.6 (en élargissant le contexte à 200K tokens) et GLM-4.7, ainsi qu'une variante légère 30B-A3B (GLM-4.7-Flash) pour un déploiement plus efficace. En tant que version à poids ouvert, GLM-4.5 est en concurrence avec d'autres modèles ouverts visant les cas d'utilisation agentic et de codage. Ses points forts résident dans l'utilisation d'outils, le contrôle de raisonnement et l'ouverture, bien que l'exécution d'un grand modèle MoE localement nécessite un matériel important, et que de nouvelles versions de GLM l'aient depuis dépassé sur les benchmarks.

• Architecture à experts mélangés (MoE)
• Raisonnement hybride avec modes de réflexion/montrage
• Appel d'outils natif pour des agents
• Réflexion intercalée avant les réponses et les appels d'outils
• Fenêtre de contexte de 128K
• Optimisation du codage agenty

3

Jina AI

Fondation de recherche multimodale pour les embeddings, le réordonnancement et les pipelines RAG

4.2 (5)

Gratuit

Avis complet

Jina AI fournit une suite de modèles de base et d'API construits autour de la recherche, de la récupération et de la compréhension multimodale. Ses offres principales comprennent des embeddings de texte et d'image, des rerankers neuronaux, des classificateurs zero-shot et des outils pour créer des flux de travail de génération augmentée par récupération (RAG) à grande échelle. La plate-forme est conçue pour les développeurs et les équipes qui créent des moteurs de recherche, des systèmes de recommandation et des assistants IA qui doivent raisonner sur du texte, des images et des données structurées. Les modèles sont accessibles via des API hébergées et des versions open source, avec un support multilingue et des capacités de contexte long pour gérer de grands documents. Jina AI s'intègre avec des bases de données vectorielles courantes et des frameworks LLM, en faisant un bloc de construction pratique pour des systèmes de recherche sémantique et de récupération de connaissances de niveau production.

• Modèles d'embedding de texte et d'image
• API de réordonnancement neuronal
• Classification zéro-shot
• Prise en charge de documents à long contexte
• Récupération multilingue
• Intégrations de base de données vectorielle et RAG