AI Model Serving Platforms Vastasseis — 12. august 2024

1

Astrolabe

Omahostitud OpenAI-sõbralik marsruutimisvärav OpenClaw agentidele kuludega ja turvapoliitikaga

4.4 (5)

Tasuta

Täielik arvustus

Astrolabe on avatud lähtekoodiga AI lüüs, mis on loodud OpenClaw agentide ja OpenRouteri vahel töötama. See toimib marsruutimisproksina, mis klassifitseerib iga päringu, lahendab sobiva mudeli tee staatilisest kontrollitud nimekirjast, käivitab kõne OpenRouteri vastu ja rakendab ohutusreegleid tööriistade kasutamise ja usaldamata sisendite ümber. Eesmärk on võimaldada iseseisvatel agentidel vältida käsitsi häälestamist teenusepakkujate ja mudeli ID-dega pöördekaupa. Projekt eksponeerib virtuaalsete mudelite komplekti, nagu astrolabe/auto, astrolabe/coding, astrolabe/research, astrolabe/vision, astrolabe/strict-json, astrolabe/cheap ja astrolabe/safe. Need vastavad konkreetsetele põhiallikate mudelitele pakkujatelt nagu DeepSeek, OpenAI, Anthropic, MiniMax, Moonshot, xAI, Qwen, Google ja Mistral, mida hoitakse staatilistes manifestides, mitte kõvas kodeeringuga konfiguratsiooni objekti. Astrolabe keskustab OpenClaw agentide jaoks nelja probleemi: marsruutimise paindlikkuse, töökindluse ja varufunktsioonide käitumise, kulude kontrolli ja tööriistade kasutamise ohutuspoliitika. Selle eesmärk on pakkuda neid funktsioone ilma andmebaasi, hostitud juhtimistasandi või SaaS-sõltuvuse lisamata. OSS-versioon on olekuta ja iseseisvalt hostitud; operaator esitab oma OpenRouter API võtme ja Astrolabe API võtme, seejärel osutab OpenClaw Astrolabe eksemplari. Käitusajal saadab OpenClaw nõude Astrolabe POST /v1/responses lõpp-punktile (POST /v1/chat/completions säilitades ühilduvuse adapterina). Astrolabe klassifitseerib kategooria, keerukuse ja modifikatsioonid, määrab kindlaks sõidurea ja kandidaatide mudeli komplekti, käivitab nõude, kontrollib mittemuudetavaid vastuseid, rakendab tööriista poliitika kontrolle ja võib ühe korra eskalatsioonida tugevamale mudelile. See tagastab ülesvoolu vastuse koos x-astrolabe-* päiste ja sisseehitatud metandataga. Alates versioonist 0.3.0 Beta on projekt varajases staadiumis ja väike. See on loodud spetsiaalselt OpenClaw ökosüsteemi jaoks, mitte kui üldotstarbeline LLM-lüüs, seega väljaspool seda töövoogu asuvad kasutajad võivad leida rohkem küpseid alternatiive sellistes tööriistades nagu LiteLLM või OpenRouteri enda marsruutimine. Selle staatiline, sissekontrollitud mudelite nimekiri tagab reprodutseeritavuse, kuid nõuab käsitsi värskendusi, kui mudelid muutuvad.

• OpenAI-sõbralik /v1/responses ja /v1/chat/completions lõpp-punktid
• Stabiilne kontrollitud mudel-manifestid mitmel pakkujal
• Virtuaalsed mudel-liinid (auto, coding, research, vision, cheap, safe, strict-json)
• Päringu klassifikatsioon kategooria, keerukuse ja modifikaatorite järgi
• Tööriistade kasutamise turvapoliitika kontrollid ühe eskaleerimisega
• Vastuse verifikatsioon ja x-astrolabe-* metaandmete päised

2

Jina AI

Mitmemooduliline otsingu alus sisemuste, ümberjärjestamise ja RAG torude jaoks.

4.2 (5)

Tasuta

Täielik arvustus

Jina AI pakub komplekti alusmudelitest ja API-dest, mis keskenduvad otsingule, taaskasutusele ja mitmemoodulisele mõistmisele. Selle põhipakkumiste hulka kuuluvad tekstide ja piltide embedding mudelid, neuronaalsed reranker API-d, null-shot klassifikaatorid ning tööriistad RAG (retrieval-augmented generation) töövoogude ehitamiseks skaalal. Platvorm on mõeldud arendajatele ja meeskondadele, kes loovad otsingumootoreid, soovitussüsteeme ja AI assistente, mis peavad mõistma teksti, pilte ja struktureeritud andmeid. Mudeleid on võimalik kasutada hostitud API-de ja avatud lähtekoodiga väljalasete kaudu, toetades mitmekeelsust ja pikkade kontekstide võimalusi suurte dokumentide töötlemiseks. Jina AI integreerub tavaliste vektorandmebaaside ja LLM raamistikuga, muutes selle praktiliseks ehituskiviks tootmiskõlbulikes semantilises otsingus ja teadmiste taaskasutuse süsteemides.

• Teksti ja pildi embedding mudelid
• Neuronaalsed reranker API-d
• Null-shot klassifitseerimine
• Pikkade kontekstide dokumenditoetus
• Mitmekeelne taaskasutus
• RAG- ja vektorandmebaasi integratsioonid

3

GLM‑4.5

Avatud lähtekoodiga hübriidmõtlemise MoE alusmudel, mis on loodud agentuursete, kodeerimise ja tööriistade kasutamise ülesannete jaoks.

4.5 (6)

Tasuta

Täielik arvustus

GLM-4.5 on Zhipu AI (Z.ai) poolt GLM mudeliperekonna osana arendatud avatud lähtekoodiga suur keelemudel. See kasutab Mixture-of-Experts (MoE) arhitektuuri ja hübriidmõtlemise disaini, mis võimaldab mudelil kas "mõelda" enne vastamist või vastata otse, suunates agentuurseid töövooge, kodeerimist ja tööriistade kasutamist. Mudel toetab 128 K tokeni kontekstivaadet ja sisseehitatud tööriistade väljakutset. Mudelit on suunatud arendajatele, kes loovad AI-agente ja koodialahendusi. See tutvustas “Interleaved Thinking” funktsiooni, kus mudel põhjendab enne iga vastuse ja tööriistakõne tegemist, mida hilisemad GLM‑versioonid (GLM‑4.6 ja GLM‑4.7) laiendasid funktsioonidega nagu Preserved Thinking ja Turn‑level Thinking. GLM‑4.5 rõhutab agentuurset kodeerimist, integreerudes peamiste agent‑raamistike ja kodeerimistööriistadega, nagu Claude Code, Cline, Roo Code ja Kilo Code. GitHubi repositoorium sisaldab mudeli ressursse, inference‑koodi ja näiteid, samas kui kaalud on vabalt saadaval iseteeninduseks ning API-d pakub Z.ai API Platform. Repos pakutakse ka info järgmistest mudelitest GLM‑4.6 (kontekst kuni 200 K tokenit) ja GLM‑4.7 ning kergekaalulisest 30B‑A3B variandist (GLM‑4.7‑Flash) tõhusamaks juurutamiseks. Avatud kaaludena konkurentsis teiste avatud mudelitega, mis on suunatud agentuursetele ja kodeerimisrakendustele, on GLM‑4.5 tugev tööriistade kasutamise, põhjendamise kontrolli ja avatuses. Suur MoE mudel nõuab aga märkimisväärset riistvara paiksel kasutamisel ning uuemad GLM‑versioonid on sellest ajast benchmarkidel juba ette jõudnud.

• Mixture-of-Experts (MoE) arhitektuur
• Hübriidmõtlemine mõtlemise/mittemõtlemise režiimidega
• Sissepõimitud tööriistade väljakutsed agentidele
• Interleaved thinking enne vastuseid ja tööriistakõnesid
• 128 K kontekstivaade
• Agentuurse kodeerimise optimeerimine

4

New API

Juhises taasiseseisvuse ja ülevalmistele

4.3 (4)

Freemium

Täielik arvustus

New API on avatud lähtekoodiga LLM lüüs, mis pakub ühtset liidest ühenduse loomisele mitme AI mudeli pakkujaga, sealhulgas OpenAI, Anthropic Claude ja Google Gemini-stiili API-dega. See toimib keskse halduskihina, mis võimaldab meeskondadel suunata päringuid üle pakkujate, kontrollida juurdepääsu ja jälgida kasutamist ühest kohast. Projekt on suunatud arendajatele, platvormimeeskondadele ja organisatsioonidele, kes tarbivad AI API-sid suurtes kogustes ning soovivad ühtset väravat, selle asemel, et integreerida iga pakkujat eraldi. Avades OpenAI-ühilduvaid lõpppunkte, võimaldab see olemasolevatel rakendustel ja SDK-del töötada paljude taustsüsteemidega ilma kliendi koodi ümberkirjutamata. Lisaks põhilisele vahendamisele keskendub New API tööoperatsioonide probleemidele, nagu tokenipõhised kvoodid, arveldamine ja krediidihaldus, nõuete auditeerimine ja kasutusanalüütika. Need funktsioonid muudavad selle sobivaks sisemiste AI-platvormide loomiseks või mitmele kasutajale või meeskonnale juurdepääsu müümiseks/mõõtmiseks. Avatud lähtekoodiga, ise-hostitava tööriistana annab see operaatoritele kontrolli kasutuselevõtu ja andmevoo üle, mis võib olla oluline kulude haldamiseks ja vastavuseks. See positsioneerib end samasse ruumi teiste API-väravate ja agregaatoritega, nagu LiteLLM ja One API, millel see põhineb. Enamiku ise-hostitud väravate puhul nõuab New API kasutuselevõtt infrastruktuuri seadistamist ja pidevat hooldust ning pakkuja toe ulatus ja stabiilsus sõltuvad kogukonna panusest.

• Müükku valmis LLM API
• SSL suhelderimine
• Pereja vastuvõtt
• Näidis turvaline kasutamine
• Api kohandatud kasutage kohandatud sisselogimine AJAX-iga ja kasutamise analüüsi
• Juhendad LLM ressurssid luba