AI Model Serving Platforms Souboj — 12. srpna 2024

1

Astrolabe

Samostatně hostovaný rozhraní pro směrování otevřeného typu OpenAI s omezeními nákladů a bezpečnými politikami

4.4 (5)

Zdarma

Plná recenze

Astrolabe je open-source brána umělé inteligence navržená jako propojení mezi agenty OpenClaw a OpenRouter. Funguje jako směrovací proxy, který klasifikuje každou žádost, vybere vhodnou modelovou dráhu ze staticky zkontrolovaného seznamu, provede volání proti OpenRouter a aplikuje bezpečnostní politiku kolem použití nástrojů a nedůvěryhodných vstupů. Cílem je umožnit samo-hostovaným agentům vyhnout se ručnímu ladění poskytovatelů a ID modelů na každém jednotlivém kroku. Projekt nabízí sadu virtuálních modelů, jako je astrolabe/auto, astrolabe/coding, astrolabe/research, astrolabe/vision, astrolabe/strict-json, astrolabe/cheap a astrolabe/safe. Tyto modely odpovídají konkrétním základním modelům od poskytovatelů, jako jsou DeepSeek, OpenAI, Anthropic, MiniMax, Moonshot, xAI, Qwen, Google a Mistral, které jsou udržovány v statických manifestech namísto hardkodovaného konfiguračního objektu. Astrolabe centralizuje čtyři problémy pro agenty OpenClaw: flexibilitu směrování, spolehlivost a záložní chování, kontrolu nákladů a bezpečnostní politiku pro použití nástrojů. Má za účel tyto funkce poskytovat bez přidání databáze, hostovaného ovládacího panelu nebo jakékoli závislosti na SaaS. OSS verze je bezstavová a samo-hostovaná; provozovatel dodá vlastní OpenRouter API klíč a Astrolabe API klíč, poté namíří OpenClaw na instanci Astrolabe. Při běhu zašle OpenClaw požadavek na koncový bod POST /v1/responses nástroje Astrolabe (s POST /v1/chat/completions zachovaným jako kompatibilní adaptér). Astrolabe klasifikuje kategorii, složitost a modifikátory, rozliší trasu a sadu kandidátních modelů, provede požadavek, ověří odpovědi bez streamování, aplikuje kontroly zásad nástroje a může eskalovat až k silnějšímu modelu. Vrátí výše uvedenou odpověď spolu s hlavičkami x-astrolabe-* a vloženými metadaty. Od verze 0.3.0 Beta je projekt v raném stádiu a má malé rozměry. Je speciálně navržen pro ekosystém OpenClaw, spíše než jako obecný LLM gateway, takže uživatelé mimo tento pracovní postup mohou najít více vyzrálé alternativy v nástrojích jako LiteLLM nebo vlastní směrování OpenRouter. Jeho statický, zkontrolovaný seznam modelů poskytuje reprodukovatelnost, ale vyžaduje ruční aktualizace, jak se modely mění.

• Kompatibilní s OpenAI /v1/responses a /v1/chat/completions endpointy
• Statické kontrolované modelové manifesty mimo řadu poskytovatelů
• Virtuální modelové cesty (auto, coding, research, vision, cheap, safe, strict-json)
• Třídy požadavků dle kategorie, složitosti a modifikátorů
• Zásady bezpečí pro užití nástroje s jednokrotným eskalací
• Verifikace návratových hodnot a x-astrolabe-* hlavičky

2

Jina AI

Základní multimodální vyhledávací platforma pro embeddings, re-ranking a RAG pipeline

4.2 (5)

Zdarma

Plná recenze

Jina AI poskytuje sadu základních modelů a rozhraní API zaměřených na vyhledávání, získávání a multimodální porozumění. Mezi její hlavní nabídky patří textové a obrazové embeddings, neuronové přehradky, klasifikátory se sníženým počtem nulových vzorků a nástroje pro vytváření pracovních postupů generování s rozšířeným vyhledáváním (RAG) ve velkém měřítku. Platforma je navržena pro vývojáře a týmy, kteří vytvářejí vyhledávače, systémy doporučení a asistenty AI, kteří potřebují uvažovat o textech, obrázcích a strukturovaných datech. Modely jsou dostupné prostřednictvím hostovaných rozhraní API a otevřených zdrojových verzí s vícejazyčnou podporou a schopností zpracovávat dlouhé kontexty pro zpracování velkých dokumentů. Jina AI se integruje s běžnými vektorovými databázemi a rámci LLM, což z něj činí praktický stavební blok pro produkční semantické vyhledávání a systémy získávání znalostí.

• Textové a obrázkové modely embeddings
• Neuronové re-ranker API
• Nulový klasifikátor
• Podpora dlouhého kontextu dokumentů
• Multilinguální získávání
• RAG a integrační nástroje pro vektorské databáze

3

GLM‑4.5

Otevřeně dostupné hybrido-znamenenského modelu MoE postavený na agenci, kodování a používání nástrojů

4.5 (6)

Zdarma

Plná recenze

GLM-4.5 je open-source velký jazykový model vyvinutý společností Zhipu AI (Z.ai) jako součást rodiny modelů GLM. Používá architekturu Mixture-of-Experts (MoE) a hybridní návrh uvažování, který umožňuje modelu buď „uvažovat“, než odpoví, nebo odpovídat přímo, a to zejména pro agenty workflow, kódování a použití nástrojů. Model podporuje 128K-tokenové okno kontextu a nativní volání nástrojů. Model je určen pro vývojáře, kteří vytvářejí agenty umělé inteligence a kódovací asistenty. Představil koncept "Interleaved Thinking", kdy model uvažuje před každou odpovědí a voláním nástrojů, který následné verze GLM (GLM-4.6 a GLM-4.7) rozšířily o funkce jako Preserved Thinking a Turn-level Thinking. GLM-4.5 se zaměřuje na agentní kódování, integrovaný s hlavními frameworky agentů a kódovacími nástroji, jako jsou Claude Code, Cline, Roo Code a Kilo Code. Repozitář GitHub hostí zdroje modelu, inferenční kód a příklady, zatímco váhy jsou otevřeně zveřejněny pro samo-hostování a API je nabízeno prostřednictvím platformy Z.ai API. Repozitář nyní také dokumentuje nástupnické modely GLM-4.6 (rozšiřující kontext na 200K tokenů) a GLM-4.7, spolu s lehkou 30B-A3B variantou (GLM-4.7-Flash) pro efektivnější nasazení. Jako open-weight verze soupeří GLM-4.5 s ostatními otevřenými modely zaměřenými na agenty a programování. Jeho silné stránky spočívají v použití nástrojů, řízení uvažování a otevřenosti, i když spuštění velkého MoE modelu lokálně vyžaduje značný hardware a novější verze GLM mezitím překonaly tento model v benchmarcích.

• Měso-odborníků (Mixture-of-Experts) architektury
• Hybridní racionální zobrazení se třemi módy - myšlení/nezáleží
• Přiřazení nástrojů pro agenty
• Míšené myšlení před odpovědími a voláním nástrojů
• 128K kontextový okno
• Optimalizace agenciálního kódování

4

New API

Otvírací zdroj LLM gateway sjednocený s více rozhraněmi API s routingem, fakturací a analýzami

4.3 (4)

Freemium

Plná recenze

New API je open-source LLM brána, která poskytuje jednotné rozhraní pro připojení k více poskytovatelům AI modelů, včetně OpenAI, Anthropic Claude a Google Gemini-style API. Funguje jako centrální vrstva správy, která umožňuje týmům směrovat požadavky přes poskytovatele, kontrolovat přístup a sledovat využití z jednoho místa. Projekt je zaměřen na vývojáře, platformové týmy a organizace, které ve velkém měřítku využívají AI API a chtějí mít jeden jediný vstupní bod namísto toho, aby integrovaly každého poskytovatele zvlášť. Exponováním endpointů kompatibilních s OpenAI umožňuje stávajícím aplikacím a SDK pracovat s mnoha back-endy bez přepisování klientského kódu. Kromě základního proxyingu se New API zaměřuje na provozní problémy, jako jsou kvóty založené na tokenech, fakturace a správa kreditů, audit požadavků a analýza využití. Tyto funkce jej činí vhodným pro budování interních AI platforem nebo prodeji/omezování přístupu pro více uživatelů nebo týmů. Jako open-source nástroj, který lze samo-hostovat, poskytuje operátorům kontrolu nad nasazením a tokem dat, což může být důležité pro správu nákladů a soulad s předpisy. Umisťuje se do stejného prostoru jako jiné brány a agregátory API, jako jsou LiteLLM a One API, ze kterých čerpá. Stejně jako u většiny samo-hostovaných bran vyžaduje použití New API nastavení infrastruktury a průběžnou údržbu a šířka podpory poskytovatelů a stabilita závisí na příspěvcích komunity.

• Sjednocený LLM multi-provider gateway
• Otvírací endpointy kompatibilní s OpenAI
• Směrování požadavků přes poskytovatele modelů
• Tokenové kvóty a správa fakturací
• Analytika používání a auditování požadavků