AI Model Serving Platforms Souboj — 5. března 2025

1

New API

Otvírací zdroj LLM gateway sjednocený s více rozhraněmi API s routingem, fakturací a analýzami

4.3 (4)

Freemium

Plná recenze

New API je open-source LLM brána, která poskytuje jednotné rozhraní pro připojení k více poskytovatelům AI modelů, včetně OpenAI, Anthropic Claude a Google Gemini-style API. Funguje jako centrální vrstva správy, která umožňuje týmům směrovat požadavky přes poskytovatele, kontrolovat přístup a sledovat využití z jednoho místa. Projekt je zaměřen na vývojáře, platformové týmy a organizace, které ve velkém měřítku využívají AI API a chtějí mít jeden jediný vstupní bod namísto toho, aby integrovaly každého poskytovatele zvlášť. Exponováním endpointů kompatibilních s OpenAI umožňuje stávajícím aplikacím a SDK pracovat s mnoha back-endy bez přepisování klientského kódu. Kromě základního proxyingu se New API zaměřuje na provozní problémy, jako jsou kvóty založené na tokenech, fakturace a správa kreditů, audit požadavků a analýza využití. Tyto funkce jej činí vhodným pro budování interních AI platforem nebo prodeji/omezování přístupu pro více uživatelů nebo týmů. Jako open-source nástroj, který lze samo-hostovat, poskytuje operátorům kontrolu nad nasazením a tokem dat, což může být důležité pro správu nákladů a soulad s předpisy. Umisťuje se do stejného prostoru jako jiné brány a agregátory API, jako jsou LiteLLM a One API, ze kterých čerpá. Stejně jako u většiny samo-hostovaných bran vyžaduje použití New API nastavení infrastruktury a průběžnou údržbu a šířka podpory poskytovatelů a stabilita závisí na příspěvcích komunity.

• Sjednocený LLM multi-provider gateway
• Otvírací endpointy kompatibilní s OpenAI
• Směrování požadavků přes poskytovatele modelů
• Tokenové kvóty a správa fakturací
• Analytika používání a auditování požadavků

2

GLM‑4.5

Otevřeně dostupné hybrido-znamenenského modelu MoE postavený na agenci, kodování a používání nástrojů

4.5 (6)

Zdarma

Plná recenze

GLM-4.5 je open-source velký jazykový model vyvinutý společností Zhipu AI (Z.ai) jako součást rodiny modelů GLM. Používá architekturu Mixture-of-Experts (MoE) a hybridní návrh uvažování, který umožňuje modelu buď „uvažovat“, než odpoví, nebo odpovídat přímo, a to zejména pro agenty workflow, kódování a použití nástrojů. Model podporuje 128K-tokenové okno kontextu a nativní volání nástrojů. Model je určen pro vývojáře, kteří vytvářejí agenty umělé inteligence a kódovací asistenty. Představil koncept "Interleaved Thinking", kdy model uvažuje před každou odpovědí a voláním nástrojů, který následné verze GLM (GLM-4.6 a GLM-4.7) rozšířily o funkce jako Preserved Thinking a Turn-level Thinking. GLM-4.5 se zaměřuje na agentní kódování, integrovaný s hlavními frameworky agentů a kódovacími nástroji, jako jsou Claude Code, Cline, Roo Code a Kilo Code. Repozitář GitHub hostí zdroje modelu, inferenční kód a příklady, zatímco váhy jsou otevřeně zveřejněny pro samo-hostování a API je nabízeno prostřednictvím platformy Z.ai API. Repozitář nyní také dokumentuje nástupnické modely GLM-4.6 (rozšiřující kontext na 200K tokenů) a GLM-4.7, spolu s lehkou 30B-A3B variantou (GLM-4.7-Flash) pro efektivnější nasazení. Jako open-weight verze soupeří GLM-4.5 s ostatními otevřenými modely zaměřenými na agenty a programování. Jeho silné stránky spočívají v použití nástrojů, řízení uvažování a otevřenosti, i když spuštění velkého MoE modelu lokálně vyžaduje značný hardware a novější verze GLM mezitím překonaly tento model v benchmarcích.

• Měso-odborníků (Mixture-of-Experts) architektury
• Hybridní racionální zobrazení se třemi módy - myšlení/nezáleží
• Přiřazení nástrojů pro agenty
• Míšené myšlení před odpovědími a voláním nástrojů
• 128K kontextový okno
• Optimalizace agenciálního kódování

3

Jina AI

Základní multimodální vyhledávací platforma pro embeddings, re-ranking a RAG pipeline

4.2 (5)

Zdarma

Plná recenze

Jina AI poskytuje sadu základních modelů a rozhraní API zaměřených na vyhledávání, získávání a multimodální porozumění. Mezi její hlavní nabídky patří textové a obrazové embeddings, neuronové přehradky, klasifikátory se sníženým počtem nulových vzorků a nástroje pro vytváření pracovních postupů generování s rozšířeným vyhledáváním (RAG) ve velkém měřítku. Platforma je navržena pro vývojáře a týmy, kteří vytvářejí vyhledávače, systémy doporučení a asistenty AI, kteří potřebují uvažovat o textech, obrázcích a strukturovaných datech. Modely jsou dostupné prostřednictvím hostovaných rozhraní API a otevřených zdrojových verzí s vícejazyčnou podporou a schopností zpracovávat dlouhé kontexty pro zpracování velkých dokumentů. Jina AI se integruje s běžnými vektorovými databázemi a rámci LLM, což z něj činí praktický stavební blok pro produkční semantické vyhledávání a systémy získávání znalostí.

• Textové a obrázkové modely embeddings
• Neuronové re-ranker API
• Nulový klasifikátor
• Podpora dlouhého kontextu dokumentů
• Multilinguální získávání
• RAG a integrační nástroje pro vektorské databáze