AI Model Serving Platforms Sadursme — 2024. gada 12. augusts

1

Astrolabe

Ātri sēvi, atvērto OpenAI kompatībā rotes un pārvadātāju, lai OpenClaw agentiem ir līdzeklis efektīvi izvairīties no lielākos apgrozījumu izmaksu, kas paredzēti bezsadarbības kontroles un drošības politikas ietvaros.

4.4 (5)

Bezmaksas

Pilna recenzija

Astrolabe ir atvērtā koda AI brīvdabas pirts, kuru projektējusi, lai atradās starp OpenClaw aģentiem un OpenRouter. Tā attiecas kā rutes paziņotājs, kas klasificē katru pieprasījumu, noteikt pareizu modelī iegultnī no statiskā ziņotas, iesniedzto rotaļu sarakstu, izpildot saucienu pret OpenRouter, un piemācot drošības politiku ap instrumenta lietošanu un neapmierināmo ievades datiem. Mērķis ir ļaut pašizmantojamajiem aģentiem izvairīties no piegādaušanās un modela ID pieprasīšanām katru reizi sargojami, noraidot to, ka tie nepieprasa izvēle, kas katru reizi ir nepieciešama. Projekts izstādīt virtualo modeli, tādas kā astrolabe/auto, astrolabe/coding, astrolabe/research, astrolabe/vision, astrolabe/strict-json, astrolabe/cheap, un astrolabe/safe. Tās sakrīt ar konkrēto apkopotajiem modeliem no provideriem kā DeepSeek, OpenAI, Anthropic, MiniMax, Moonshot, xAI, Qwen, Google, un Mistral, kas tiek pārvaldīti statiskajos manifestos vietām tādīgu konfigurāciju objektu vietā ar hardkodētu konfigurāciju. Astrolabas konsolīdu ar četrām problēmām, kas ir tieši piemāņvērtības OpenClaw agentiem: maršrutēšanas elastīgums, reliablība un piekārtnes uzvedība, izdevumu kontrolle un drošības politikas noteikumi par instrumentu izmantošanu. Tās mērķis ir uzreiz ģenerēt šo bez papildināšanas datubāzi, uz-hosteti kontroles plānu vai jebkādu SaaS aksesu. Atvērtās kods versija ir bezstāvvīga un self-hosted; operators piešķir savu OpenRouter API privātbasmu un Astrolabas API privātbasmu un pēc tam noroda OpenClaw uz Astrolabas instances. Palaikājot, OpenClaw nosūta ziņojumu uz Astrolabes POST /v1/atbildes punktu (POST /v1/rozīte/izpildes saglabājot kā iespēju saglabāt kompatību). Astrolabes klasificē kategoriju, kompleksitāti un modifikatorus, risina ceļu un kandidāta modelu setu, izpilda pieprasījumu, verificē nenākotās atbildes, lieto ierīču politikas pārbaudes, un varētu augsnīt vien reizi pieaudzināt uz labāku modeli. Tas atgriež augšupēju atbildi kopā ar x-astrolabes-* galvosatzi un iekšēju metadatus. Līdz 0.3.0 Beta versijas laikam, projekts ir vēlama stadijā un mazs. Tas ir paredzēts tikai atvērtā Ekoļauzija (OpenClaw) ekosistēmai, nevis kā vispārīgu LLM (Language Model) iebrauciena platformai, tāpēc lietotāji, kas nav šīs tehnoloģiskās darbības piekritēji, var redzēt daudz pieaugušas alternatīvas instrumentos, tādiem kā LiteLLM vai OpenRouter paša režīma. Tas arī izveido specifisku, izvietotu, modelu sarakstu, kas ir nepiešambīga atkārtotais eksperiments, bet šī modelu mainīšanas gadījumā tiek prasīti manuāli atjaunojumi.

• OpenAI kompatības /v1/responses un /v1/chat/completions API piekļuve
• Statiska konfigurēta rotera manifests daudzām atvērto pārvadātājiem un modeliem
• Virtualizētu modelu kanāli (auto, coding, research, vision, cheap, safe, strict-json)
• Pieteiksījumu klasifikācija kārtību, kompleksitātes un modificēšanas līmeņos
• Izpildīšanas vērimu politika kontroli ar iespēju vienu reizi pārejet
• Atbildes pārbaudes un x-astrolabe-* vērtību metaadati

2

Jina AI

Multimodāla meklēšanas pamatne – iegudrojumi, pārtraukšana un RAG pipeline

4.2 (5)

Bezmaksas

Pilna recenzija

Jina AI sniedz vienu no pamatmodeliem un aplikācijām ar API pieejamam, kas ir koncentrētas uz meklēšanos, atvieglošanu un multifāzīgu saprātu. Tā svarīgie piedāvājumi ietver teksta un attēlu izvēles, neuronu atkārtotus, bezšūdu klasifikatori un instrumentus, lai veiksmīgi būtu izveidotu atjaunotāmņojošā ģenerācijas (RAG) procesu skaala. Platforma ir izveidota programmatūras izstrādātājiem un komandām, kas būvē meklēšanas motorus, ieteicēju iestatījumus un algoritmus palīdzības, kuru ir nepieciešama apstrādāt tekstu, attēlus un struktūrstu datu. Modeli ir pieejami caur piedāvāto API un atvērto koda izlaižamību, ar daudzuvalodu atbalstu un ilgās konteksta iespējamību lielu dokumentu apstrādei. Jina AI integrētiene ir kopumā izmantotajos vektoru bāzēs un LLM iekārtām, kas padara to par daudzpraktisku pamatviestuli, ar kādu izveidot var produktīvus semantiskos meklēšanas un zinību iegūšanas sistēmas.

• Teksta un attēlu iegudrojumu modeļi
• Neirona pārtraukšanas API
• Zero-shot klasifikācija
• Garā kontekstu dokumentu atbalsts
• Vielvalodu meklēšana
• RAG un vektoru datubāzu integrācijas

3

GLM‑4.5

Atvērtas koda hibridiskās pārdomas MoE pamatmodelis, izstrādāts agentu, kodēšanas un rīku lietošanas uzdevumiem

4.5 (6)

Bezmaksas

Pilna recenzija

GLM-4.5 ir atvērtā koda lielais valodas modelis, ko ir izstrādājusi Zhipu AI (Z.ai) kā daļu no GLM modeļu saimes. Tam ir Mixture-of-Experts (MoE) arhitektūra un hibridiskās domāšanas konstrukcija, kas ļauj modelim domāt, pirms atbildēs, vai atbildēt tieši, paredzēts darbam ar aģentūras darbplūsmām, kodu rakstīšanu un instrumentu izmantošanu. Modelis atbalsta 128K-tokena konteksta logu un natīvo instrumentu izsaukšanu. Modelis ir paredzēts izstrādātājiem, kas veido AI aģentus un kodēšanas asistentus. Tajā ir ieviests „Interleaved Thinking”, kur modelis doma pirms katras atbildes un rīka izsaukuma, kuru vēlāk GLM versijās (GLM-4.6 un GLM-4.7) paplašināja ar funkcijām kā Preserved Thinking un Turn-level Thinking. GLM-4.5 izceļ aģentu kodēšanu, integrējoties ar populistiskiem aģentu frameworkiem un kodēšanas rīkiem, tādiem kā Claude Code, Cline, Roo Code un Kilo Code. GitHub repozitorijā atrodas modeļu resursi, inferencijas kods un piemēri, kamēr svariem ir atvērti, lai pašiem uzstādītu, un API tiek nodrošināts caur Z.ai API Platform. Šobrīd repozitorijā ir dokumentēti arī modeļu pēcteči GLM-4.6 (paplašina kontekstu līdz 200K tokeniem) un GLM-4.7, kā arī vieglā 30B-A3B variānta (GLM-4.7-Flash) efektivākai izvietošanai. Kā atvērtās svaras izlaidums, GLM-4.5 konkurē ar citiem atvērtiem modeļiem, kas domāti agentejošām un kodēšanas gadījumiem. Tā spējas slēpās rīku lietošanā, argumentācijas kontroles un atvērtībā, tomēr lokāli liela MoE modeļa darbināšanai ir vajadzīga ievērojama aparatūra, un jaunākās GLM versijas ir to pārsniegušas testos.

• Mixture-of-Experts (MoE) arhitektūra
• Hibridiskās pārdomas ar domāšanas/nesekas režīmiem
• Vietējā rīku izsaukšana agentiem
• Sapludināta domāšana pirms atbildes un rīku izsaukumiem
• 128K konteksta logs
• Agentu kodēšanas optimizācija

4

New API

Atvērtā pirmkoda LLM vārteja, kas apvieno vairākus AI pakalpojumu sniedzēju API ar maršrutēšanu, rēķināšanu un analīzi

4.3 (4)

Freemium

Pilna recenzija

New API ir atvērtā pirmkoda LLM vārteja, kas nodrošina vienotu saskarni savienojumam ar vairākiem AI modeļu pakalpojumu sniedzējiem, ieskaitot OpenAI, Anthropic Claude un Google Gemini stila API. Tā darbojas kā centrālā pārvaldības slānis, kas ļauj komandām maršrutēt pieprasījumus pāri pakalpojumu sniedzējiem, kontrolēt piekļuvi un izsekot lietojumu no vienotas vietas. Šis projekts ir vērsts uz izstrādātājiem, platformu komandām un organizācijām, kas patērē AI API lielā mērogā un vēlas vienotu vārteju, nevis integrēt katru pakalpojumu sniedzēju atsevišķi. Izvietojot OpenAI saderīgas gala punktu adreses, tā ļauj esošajām lietojumprogrammām un SDK strādāt ar daudziem aizmugursistēmām bez klienta koda pārrakstīšanas. Papildus pamat funkcijai kā starpniekam, New API koncentrējas uz operacionālām problēmām, piemēram, uz tokenu balstītām kvotām, rēķināšanu un kredītu pārvaldību, pieprasījumu revīziju un lietojuma analīzi. Šīs funkcijas padara to piemērotu iekšējo AI platformu veidošanai vai piekļuves pārdalei un mērīšanai vairākiem lietotājiem vai komandām. Kā atvērtā pirmkoda, paš-hostējama rīku, tā dod operatoriem kontroli pār izvietošanu un datu plūsmu, kas var būt svarīga izmaksu pārvaldībai un atbilstībai. Tā pozicionē sevi tajā pašā telpā kā citas API vārtejas un agregatori, piemēram, LiteLLM un One API, no kuriem tā iegūst. Tāpat kā lielākā daļa paš-hostēto vārteju, New API pieņemšana prasa infrastruktūras iestatīšanu un pastāvīgu apkopšanu, un pakalpojumu sniedzēju atbalsta plašums un stabilitāte ir atkarīgi no kopienas ieguldījumiem.

• Vienota daudzpakalpojumu API vārteja
• OpenAI saderīgas gala punktu adreses
• Pieprasījumu maršrutēšana pāri modeļu pakalpojumu sniedzējiem
• Tokenu kvotas un rēķināšanas pārvaldība
• Lietojuma analīze un revīzija