AI Model Serving Platforms Двубой — 12 август 2024 г.

1

Astrolabe

Самостоятелно поддържана врата за маршрутизация на OpenAI съместима с OpenClaw агентите с политика за тегло и безопасност

4.4 (5)

Безплатно

Пълен преглед

Astrolabe е отворен-коден gateway за AI, проектиран да се намира между агенциите OpenClaw и OpenRouter. Той действа като прокси-шаблон на маршрутизация, класифицира всяка запитване, изговаря подходящ моделен път от изградена вградена регистър по статив, изпълнява извикването срещу OpenRouter и прилага политика на сигурност около използване на инструменти и неизвестни възведения. Целта е да допусне самостоятелно-хостираните агенти да избягват ръчно отлагане на провайдъри и модели за ID в зависимост от обхвата. Проектът експонира серия от виртуални обекти, като astrolabe/auto, astrolabe/coding, astrolabe/research, astrolabe/vision, astrolabe/strict-json, astrolabe/cheap и astrolabe/safe. Те се свързват с реални подбудинки модели от източници като DeepSeek, OpenAI, Anthropic, MiniMax, Moonshot, xAI, Qwen, Google и Mistral. Те са поддържани в статични манифести, а не в хардкодирани конфигурационни обекти. Астролаба centralizira четири проблема за агенитите OpenClaw:.flexibilitет на маршрутизацията, надеждността и поведението за пада, контролът на разходите и политиката за безопасност на използването на инструменти. Вътрешна цел е да доставя тези неща без да включват база данни, хостен control plane или някаква зависимост от SaaS. Върховиата версия на OSS е безусловна и самозадържана; операторът предоставя собствения си OpenRouter API ключ и един ключ Astrolabe API, след което указва на OpenClaw към Astrolabe инстанцията. При изпълняване при Astrolabe изпраща искане до POST /v1/отговори ендпоинт (с POST /v1/chat/completions като адаптор за съвместимост). Astrolabe класифицира категория, сложност и модификатори, решава линията и набора с кандидат модел, изпраща искането, проверява нерешения потоци от отговори, прилага политика за инструменти и може да се изкачи веднъж към по-силният модел. То връща гореспоменатата отговора сглас с хедърите x-astrolabe -* и inline metadata. От версия 0.3.0 Beta, проекта е в ранена фаза и малък. Това е предназначено за екосистема OpenClaw, а не като общоприетият gateway на LLM, така че потребителите, които не са в този потоци, могат да намерят по-зряли альтернативи в инструменти като LiteLLM или собствената рутинг на OpenRouter. Неговата статична, проверена ротация на модела заличава повторимостта, но изисква ръчна актуализация при промени в моделите.

• Съместими врата на OpenAI с endpoints /v1/responses и /v1/chat/completions
• Проверени статични моделни манифести на множество доставчици
• Виртуални пътеки за модели (автоматични, код, изследвания, визия, с евтина стойност, безопасни, стрикт-JSON)
• Класиране на заявки по категории, сложност и модификатори
• Проверка на политика за безопасност на устройството със.single ескалация
• Проверка на отговор и метадани за заглавието x-astrolabe-*

2

Jina AI

Основаване на поширата на многомодален търсене за вмърдяване, реранкиране и архитектури за извличане от контекст

4.2 (5)

Безплатно

Пълен преглед

Jina AI подписва пакет от основни модели и апи, заритите около търсене, извличане и мултимодална разбиране. Основните му услуги включват текстови и зрялите във вяра embeddings, неурни рангери, zero-shot класификатори, и инструменти за създаване на извеждащи генерации на workflow по мащаб. Платформата е проектирана за разработчици и екипи, строещи търсачки системи, системи за препоръчвания и асистенти за AI, които needed да се съобразяват по текстове, изображения и структурирани данни. Моделите са достъпни чрез hosted API-и и open-source релизи, с поддръжка на множествени езици и long-context възможности за обслужване на големи документи. Jina AI интегрира с общи векторни бази данни и фреймворки за LLM, което я превръща в практичен компонент за производствени системи за семантична търсачка и достъп до знания.

• Моделите за вмърдяване на текст и изображения
• API-стекът за реранкиране на нейронните модели
• Zero-shot класификация
• Поддръжка за документи с дълъг контекст
• Търсене в многоезичия
• Вградени интеграции с RAG и векторни бази данни

3

GLM‑4.5

Отвореният софтуерен хибриден-рационален модел MoE поосновен за агентни, програмниране и използване на инструменти

4.5 (6)

Безплатно

Пълен преглед

GLM-4.5 е отворено-източна голяма лингвистична модел, развит от Zhipu AI (Z.ai), като част от семейството модели GLM. Използва архитектура Mixture-of-Experts (MoE) и хибриден дизайн за логическо мислене, позволявайки на модела или да "мисли" преди да отговори, или да отговори директно, насочвайки се към агентният поток на работа, програмиране и използване на уреди. Моделът поддържа векторен контекст от 128K-тики и вграден достъп до програми. Моделът е предназначен för програмиращи разработчици на АИ агенти и програми за помощ при кодиране. Той е introдусирал „Мисленето на върви“, където моделът си прави избори пред всеки отговор и възбуждащ телефонен чак с възможностите му, което в по-късните рилези на GLM (GLM-4.6 и GLM-4.7) се е разширило с функции като „Зачувано мислене“ и „Уровнево мислене“. GLM-4.5 отдава приоритет на агенция при програмиране, интегрирайки със семейните програмиращи рамки и програми за програмиране като Claude Code, Cline, Roo Code и Kilo Code, чрез API и SDK. Репозиториите на GitHub съдържат ресурси за модела, код за инференция и примери, докато взиманията се съдържат отворено за самозадържане и еднствено API се предлагат през платформата на Z.ai API. Репозиторите сега също така документират наследниците на модели GLM-4.6 (поддържащо контекст до 200K токена) и GLM-4.7, вдлъж с лека версия на 30B-A3B (GLM-4.7-Flash) за по-ефективно разпълнение. GLM-4.5 е разпространен под лека.weight лиценз, като съперничи с другите отворени модели, насочени към агентни и програмиращи използвания. Силите му са в използването на инструменти, контрола за логическа аргументация и отвореност, но изпращането на големи модели с MoE локално изисква значителен hardware, а новите версии GLM са превъзхождат го във всички бенчмаркове.

• Модел Мixture-of-Experts (MoE)
• Хибридно мислене с мислена/немислена мода
• Нativa възлаковане на инструменти за агенти
• Смешено мислене преди отговора и възлакуване на инструменти
• 128K контекстна околина
• Optimiziranе за програмиране с агенти

4

New API

Отворен изворен връзки към моделите на LLM, който обединява повече от един провайдър с API и маршрутизатор, както и система за счетовете и анализи.

4.3 (4)

Freemium

Пълен преглед

Нови API са отворен коден ЛМЛ (Large Language Model) gateway, който предлага унифициран интерфейс за свързване със множество предоставячи на AI модели, включително OpenAI, Anthropic Claude, и Google Gemini-style API-та. Той функционира come централен управляващ слой, който позволява на тимовете да рутват изискванията със съответните предоставячи, да контролират достъпа и да следят употребата от едно място. Проектът е насочен към програмисти, тимове по платформа и организиране, които изкарват AI-API-та на големи размери и искат единен вход в мрежата, а не да интегрират отделно всеки услуга. Като излага OpenAI-компатибилни точки за връзка, то позволява съществуващи приложения и SDK-ове да работят с много backends без преискачване на клещи на клиентското кода. Новият API създава за себе си основен етап в рамките на операционните задължения като токен-based квоти, счетове и управление на кредити, аудитиране на заявките и аналитика на използване. Тези функции го прави подходящ за изграждане на вътрешни платформи за AI или продаване/мециране достъп до множество потребители или екипи. Като отворено уреден продукт за самодопълнение, това уреди дава на операторите контрол над разпространението и протичащия от съответния поток данни, което може да е важно за управлението на разходите и спазването на нормативните изисквания. То се използва съответно на същото място, както другите врати на API, агрегатори като LiteLLM и One API, от които то се разработва. Като при повечето самозадържани системи за въвеждане, въвеждането на Нова API изисква конfigurация на инфраструктурата и обща поддържане, а разнообразието на поддръжка на доставчиците и стабилността се дължи на обществените приноси.

• Обединен връзки с повече от един провайдър API
• Compatibилни точки за OpenAI
• Маршрутизиране на заявките между провайдърите на модели
• Регулация и управление на токените и счетовете
• Анализ на използването и аудит