AI Model Serving Platforms Leszámolás — 2025. március 5.

1

New API

Nyílt forráskódú LLM gateway, amely többféle AI szolgáltató API-ját egyesíti routeolás, fizetési és elemző szolgáltatásokkal

4.3 (4)

Freemium

Teljes értékelés

A New API egy nyílt forráskódú LLM gateway, amely egyetlen interface-t kínál a többféle AI modellező szolgáltató (az OpenAI, Anthropic Claude, és a Google Gemini típusú API-k) csatlakoztatására. Központi kezelőrétekként működik, lehetővé téve az eszközcsapatok számára, hogy a szolgáltatók közötti kéréseket útvonalat kössön, hozzáférést és használati statisztikák felügyeletét is ebből egy helyről. A projekt célja a rendszermérnököknek, a platformcsapatoknak és azoknak az szervezeteknek, amelyek nagy skálán fogyasztanak mesterséges intelligencia API-kat és egyetlen átjárónak szeretnének rendelkezni az olyan integráció helyett, hogy minden provider-vel külön is meg kelljen oldani. Az OpenAI-összeegyeztethető API végpontok kimagyaráztatásával lehetővé teszik, hogy a meglévő alkalmazások és SDK-k dolgozzanak sokféle backend-kel anélkül, hogy a kliens-kódot újra kelljen írni. A klasszikus proxyolás mögött a New API operatív aggályokkal foglalkozik, például token-alapú kvóták bevezetésével, számlázással, hitelkezeléssel, kérelemellenőrzéssel és felhasználási elemzésekkel. Ezek a funkciók olyan belső AI platformok építését teszik alkalomassá, vagy az egyes felhasználókat vagy csapatokat terhelő több felhasználóra/szervezetre irányuló eladás/méréstervezéssel együtt. Nyílt forráskódú, saját kiszolgálóra telepíthető eszköz, amely a futtatás és adatáramlás felett ad hatalmat az operátoroknak, amely jelentős lehet a költségkezelésben és az összeegyeztethetőségben. Ezzel a megoldással együttáll az egyéb API-kapunyitó és összesítőkkel, például a LiteLLM-mel és az One API-val, amelyből az átvesz egyes elemeit. Mint a legtöbb önalapú kapuknál, a New API átvételéhez infrastruktúra beállítások és folyamatos karbantartás szükséges, továbbá a szerveződéshez érkező támogatói által meghatározott széles provider támogatás és stabilitás függ a közösségi hozzájárulásoktól.

• Egyetemes mutatószámú API-gateway
• Open AI-kompatibilis végpontok
• Kérések szállítása több szolgáltató közt
• Jelkód alapú kvóták és fizetési kezelés
• Felhasználási elemzések és auditálás

2

GLM‑4.5

Nyíltszabású agenciális, kódolási és eszközhasználati felhasználóalapú modellezési alapú modell

4.5 (6)

Ingyenes

Teljes értékelés

GLM-4.5 egy nyílt forráskódú nagy nyelvi modell, amelyet a Zhipu AI (Z.ai) fejlesztett ki a GLM modellcsalád részeként. A modell egy Mixture-of-Experts (MoE) architektúrát és hibrid-érvelési kialakítást használ, amely lehetővé teszi, hogy a modell először „gondolkodjon”, mielőtt válaszol, vagy közvetlenül válaszoljon, ezáltal az ügynöki munkafolyamatok, a kódolás és az eszközhasználat célját szolgálja. A modell 128 K tokenes kontextusablakot támogat, és natív eszközhívást biztosít. A modell fejlesztőkre van pozicionálva, akik AI ügynököket és kódolási asszisztenseket építenek. Bevezette az „Interleaved Thinking” (váltakozó gondolkodás) funkciót, amelyben a modell minden válasz és eszközhívás előtt gondolkodik, amit a későbbi GLM kiadások (GLM‑4.6 és GLM‑4.7) kiterjesztett olyan funkciókkal, mint a Preserved Thinking és a Turn‑level Thinking. A GLM‑4.5 az ügynöki kódolásra helyezi a hangsúlyt, integrálva a főbb ügynök‑keretrendszerekkel és kódolási eszközökkel, mint a Claude Code, Cline, Roo Code és Kilo Code. A GitHub tároló modellforrásokat, inferencia kódot és példákat tartalmaz, míg a súlyok nyíltan elérhetők saját hosztoláshoz, és az API a Z.ai API Platformon keresztül érhető el. A tároló most már dokumentálja a GLM-4.6 (200 000 tokenre bővített kontextus) és a GLM-4.7 utódmodelleket, valamint egy könnyű 30B‑A3B variánst (GLM-4.7‑Flash) a hatékonyabb telepítés érdekében. Open-weight kiadásként a GLM‑4.5 versenyez más nyílt modellekkel, amelyek az ügynöki és kódolási felhasználási esetekre irányulnak. Erősségei az eszközhasználat, az érvelés‑vezérlés és a nyitottság, bár egy nagy MoE modell helyi futtatása jelentős hardvert igényel, és azóta az újabb GLM verziók felülmúlták a benchmarkokon.

• Mixture-of-Experts (MoE) architektúra
• Hybridisztikus értelemkinyerés a gondolkodási/nehézgondolkodási módok között
• Natív eszközhasználás az agentek számára
• Összefonódó gondolkodás válaszok és eszközhívások előtt
• 128K kontextushatározott ablak
• Agenciális kódolási optimalizálás

3

Jina AI

Multimodal keresési alap a beágyazások, újrakeresések és RAG áramlások számára.

4.2 (5)

Ingyenes

Teljes értékelés

A Jina AI a következő alapmodelljeiből és API-kból álló csomagot nyújt keresés, visszakeresés és multimodális értekeltetés köré épülve. Alapértelmezett termékei közé tartoznak a szöveges és képi embeddingek, a neurális újraforgatások, a nullpontú klaszszifikátorok, továbbá a nagyszabású visszakeresett-generáló munkafolyamatok építéséhez szükséges eszközök. A platforma a fejlesztők és a csapatok számára készült, akik keresőmotorokat, ajánlási rendszereket, valamint szövegi, képi és strukturált adatfeldolgozó készülékeket fejlesztenek, amelyeknek szükségük van arra, hogy értekezzenek szövegen, képeken és strukturált adatokon. Az models elérhetők hostolt API-k és nyílt forrású kiadványok keresztül, a multinyelvű támogatással és a nagy dokumentumok kezelésére szolgáló hosszú kontextushoz kapcsolódó képességekkel, amelyek nagy dokumentumok kezelésére szolgálnak. A Jina AI számos vektortárral és nagy teljesítményű LLM-keretrendszerrel integrálódik, így valós életbeli alkalmazásokba betekintő szemantikus keresési és ismeretvisszaszívási rendszerekre építhető alapvető komponensként működik.

• Szigorító és képi beágyazásmodellek
• Neurális újrakeresők API-k
• Nullapontoszt meghatározó osztályozók
• Hosszúkontextuális dokumentumtámogatás
• Multikörnyezeti visszavétel
• RAG és vektoradatbázis-integrációk