Battaglia passata · 2025-03-05 UTC
AI Model Serving Platforms Sfida — 5 marzo 2025
Dalla categoria AI Model Serving Platforms. 13 segni piazzate tra 3 sfidanti. New API ha conquistato la corona.
Classifica finale
La formazione
Gli sfidanti
Profili di ogni strumento che ha gareggiato in questa battaglia, ordinati per punteggio finale.
New API
Gateway open-source per LLM unificante, che integra le API dei fornitori multipli con routing, fatturazione e analisi
New API è un gateway LLM open-source che fornisce un'interfaccia unificata per la connessione a più fornitori di modelli AI, tra cui OpenAI, Anthropic Claude e Google Gemini-style API. Funziona come un livello di gestione centrale che consente ai team di instradare le richieste tra i fornitori, controllare l'accesso e monitorare l'utilizzo da un'unica posizione. Il progetto è rivolto a sviluppatori, team di piattaforma e organizzazioni che consumano API AI su larga scala e desiderano un singolo gateway invece di integrare ogni provider separatamente. Esponendo endpoint compatibili con OpenAI, consente alle applicazioni esistenti e agli SDK di lavorare con molti backend senza dover riscrivere il codice lato client. Oltre al proxying di base, New API si concentra su aspetti operativi come quote basate su token, fatturazione e gestione del credito, audit delle richieste e analisi dell'utilizzo. Queste funzionalità lo rendono adatto per la creazione di piattaforme AI interne o per la rivendita e la misurazione dell'accesso a più utenti o team. Essendo uno strumento open-source e self-hostable, offre agli operatori il controllo sulla distribuzione e sul flusso di dati, che può essere importante per la gestione dei costi e la conformità. Si posiziona nello stesso spazio di altre API gateways e aggregatori come LiteLLM e One API, da cui deriva. Come per la maggior parte dei gateways auto-hosted, l'adozione di New API richiede la configurazione dell'infrastruttura e la manutenzione continua, e la portata del supporto del provider e della stabilità dipendono dai contributi della comunità.
Suddivisione dei criteri
- Gateway API unificato per i fornitori multipli
- Endpoint compatibili con OpenAI
- Routing delle richieste attraverso i provider di modelli
- Quoti basati su token e gestione degli abbonamenti
- Analisi delle prestazioni e audit delle richieste
- Audit delle prestazioni e gestione dell'accesso per impostazioni multiuser
GLM‑4.5
Modello di fondamento open-source hybride MoE costruito per compiti agenti, compilazione e utilizzo di strumenti
GLM-4.5 è un modello di linguaggio di grandi dimensioni open-source sviluppato da Zhipu AI (Z.ai) come parte della famiglia del modello GLM. Utilizza una architettura Mixture-of-Experts (MoE) e una progettazione di ragionamento ibrido che consente al modello di 'pensare' prima di rispondere o di rispondere direttamente, mirando a flussi di lavoro agenti, sviluppo di codice e utilizzo di strumenti. Il modello supporta una finestra di contesto di 128K-token e la chiamata di tool nativa. Il modello si pone al servizio dei developer che costruiscono agenti AI e ausiliari di codifica. È stato introdotto lo 'Sviluppo Intrecciato', dove il modello ragiona prima di ogni risposta e di ogni richiesta del toolkit, caratteristica che poi le successive rilasciate GLM (GLM-4.6 e GLM-4.7) hanno arricchito con funzionalità come il Pensiero Preservato e lo Sviluppo Livello per Turno. GLM-4.5 enfatizza lo sviluppo agente di codifica, integrandosi con i framework agenti mainstream e strumenti di codifica come Claude Code, Cline, Roo Code e Kilo Code. Il repository GitHub ospita le risorse del modello, il codice di inferenza e gli esempi, mentre i pesi vengono rilasciati apertamente per l'autoristorificazione e l'API viene offerta attraverso la piattaforma API Z.ai. Il repository ospita ora anche la documentazione dei modelli successor GLM-4.6 (che espande il contesto a 200K token) e GLM-4.7, insieme ad un variante lightweight 30B-A3B (GLM-4.7-Flash) per una maggiore efficienza di distribuzione. Rilasciata sotto licenza open-weight, GLM-4.5 si confronta con altri modelli open destinati a casi d'uso agenziale e di coding. Le sue prestazioni risiedono nel uso di strumenti, controllo del ragionamento e apertura, sebbene gestire un grande modello MoE localmente richieda hardware sostanziale, e versioni successive di GLM la hanno ormai superata sugli benchmark.
Suddivisione dei criteri
- Architettura Mixture-of-Experts (MoE)
- Ragionamento ibrido con modalità pensiero/non-pensiero
- Chiamata di strumento nativa per agenti
- Pensiero intercalato prima delle risposte e delle chiamate di strumento
- Finestra di contesto di 128K
- Optimizzazione per la codifica agente
Jina AI offre una suite di modelli di base e API costruiti intorno alla ricerca, alla ricerca e alla comprensione multimodale. Le sue offerte di base includono embedding di testo e immagini, neural rerankers, classificatori zero-shot e strumenti per la creazione di flussi di lavoro di ricerca-estensione della generazione (RAG) su scala. La piattaforma viene progettata per gli sviluppatori e le squadre che sviluppano motori di ricerca, sistemi di raccomandazione e assistenti AI che richiedono ragionamenti che coinvolgono testi, immagini e dati strutturati. I modelli sono accessibili attraverso API hostate e release open-source, supportando più lingue e capacità di lungo contesto per il trattamento di documenti di grandi dimensioni. Jina AI integra con database vettoriali comuni e framework di LLM, rendendolo un componente pratica per la costruzione di sistemi di ricerca semantica di produzione e sistemi di recupero delle conoscenze.
Suddivisione dei criteri
- Modelli di embedded testo e immagine
- API di reranker neurali
- Classificazione zero-shot
- Sostegno a documenti lungo-contesto
- Ricerca multilingue
- Illezioni RAG e database dei vettori