Korábbi csata · 2024-01-11 UTC
Observability Leszámolás — 2024. január 11.
A(z) Observability kategóriából. 40 jelölés elhelyezve 10 versenyző között. Quotient AI szerezte meg a koronát.
Végeredmény
A felállás
A versenyzők
Minden eszköz profilja, amely ebben a csatában versenyzett, a végső pontszámuk szerint rangsorolva.
Quotient AI
Valós idejű monitoring és értékelési platform a keresési, RAG és agent hibák azonosítására.
A Quotient AI egy megfigyelő- és értékelési platform, amely a csapatok számára lett kialakítva, amelyek AI-szerepességet szállítanak. Képes folyamatosan figyelni az AI-termékekkel termelt termékeket, beleértve a keresést, a visszakereső-erősítő generálást (RAG) és a független szereplőket is –, hogy kiemeljen hallucinációkat, visszakeresői hibákat és az egyéb minőségi problémákat, mielőtt az end felhasználók találkoznának velük. A platform a automatizált értékelések kombinálása valós idejű értesítésekkével, segítve az építő- és az ML-csapatokat a gyökér okok diagnosztizálásában, a modell vagy a prompt változásainak általános lefutásának nyomon követésében és a megbízhatóság fenntartásában nagy skálán. A Quotient a szoftverfejlesztők felé nyújt biztonságot azzal is, hogy a termékeik életben is működnek valójában, és ezzel nincsenek attól a korlátoktól eltiltva, hogy másféle offline mutatókra támaszkodjanak.
Kritériumok szétosztása
- Valós idejű AI-monitorozás és sürgős figyelmeztetés
- Hallucinációk és kivonatolási hiba detektálása
- Gyűjtővezeték-elektronika RAG-párhuzamokhoz
- Szállító rendszer viselkedésének nyomon követése és diagnosztizálása
- Regressziós elemzés modellek vagy utasításváltozások között
- Termelési megfigyelés AI alkalmazásokhoz
Weave
Egy no-code AI munkafolyamat-építő, amely lehetővé teszi a vállalkozások számára a műveletek automatizálását több nagy nyelvi modell (LLM) integrálásával és a promptok varrásával...
A Weave egy nyomon követő és értékelő platform, amely segít a nagy mennyiségű nyelvi modell (LLM) alkalmazások nyomon követésében és fejlesztésében. A Weave eszközökkel rendelkezik a tranzakciók nyomon követésére, a metrikus adattömeg gyűjtésére és alapértelmezett nyelvi modelleket használó kritikus (LLM kritikusok) és egyedi pontozók (custom scorers) segítségével az alkalmazási válaszok értékelésére. A kulcsfontosságú funkciók a tranzakciók, az LLM-hívások és az eszköz hívások nyomon követése, valamint a manuális beállítások a kereskedelmi ügynökök számára. A platform támogatja a népszerű SDK-kkal és megvalósítókkal való integrációkat, valamint adatforgalmi szempontból megszólítható ügynök megfigyelését is. Weave Python és TypeScript-könyvtárakat biztosít a platform telepítéséhez és használatához. A Weave-t a Weights & Biases (W&B) rendszeren futtatják, hozzájárulásra és API-jegyre van szükség a W&B fiók és az API azonosítója engedélyezéséhez. A felhasználók képesek visszakövetni a LLK-ket, áttekinteni az eredeti és a kapott eredményeket, majd megtekinteni az ügynök metrikákat a Weave felhasználói felületén. Bár a Weave lehetővé teszi az automatizálást és a LLK-alkalmazások értékelését, ez nem a neve miatt szó szerint a nem-kódú AI workflow építő eszköz, hanem egy egészen más jellegű technológia, mely felhasználóbarátan támogatja a fejlesztési folyamatokat.
Kritériumok szétosztása
- Ügynök nyomon követése és metrika gyűjtése
- Egyéni ügynök megfigyelhetősége
- LLM nyomon követése és értékelése
- OpenTelemetry span támogatás
- Weights & Biases (W&B) integrációk
- Python és TypeScript könyvtárak
Az AgentOps egy olyan fejlesztői platform, amely az MI-ügynökök életciklusára összpontosít, és olyan nyomkövető, monitorozó és hibakereső eszközöket biztosít, amelyek feltárják, hogy az ügynökök ténylegesen mit csinálnak futási időben. Rögzíti az LLM hívásokat, az eszközhasználatot, a költségeket és a hibákat, hogy a csapatok megérthessék az ügynökök viselkedését az összetett, többlépes munkafolyamokban. A láthatóságon túl az AgentOps munkamenet-visszajátszást, teljesítményelemzést és integrációt kínál népszerű ügynökkeretrendszerekkel, mint a LangChain, a CrewAI és az AutoGen. Ez segíti a mérnököket abban, hogy a prototípustól a termelésig terjedő folyamatban mérhető megbízhatóságot érjenek el, nem pedig találgatásra vagy naplóanalízisre támaszkodva. Fejlesztőknek és olyan csapatoknak készült, akik agens alkalmazásokat adnak ki, és szükségük van a regressziók nyomon követésére, a kiadások szabályozására, valamint arra, hogy bizonyítsák, az agensek helyesen viselkednek a telepítés előtt és után.
Kritériumok szétosztása
- Ügynöki beszúrás és újratelepítés
- LLM-hívás és eszközhasználati nyomkövetés
- Költség- és token-analitika
- Hiba- és kudarcérzékelés
- Python- és JavaScript-rendeleskészletek a keretrendszer-hez
- Ügynöki teljesítménymérleg- felületek
Confident AI
LLM értékelési platform a DeepEval alapján a tesztelés, monitorozás és az AI alkalmazások javítására
A Confident AI egy értékelési és megfigyelési platform olyan csapatok számára, amelyek nagy nyelvi modell alkalmazásokat fejlesztenek. Az open-source DeepEval keretrendszerrel működve, egységes munkateret biztosít a benchmarkek, a regressziós tesztek és a minőség-ellenőrzések futtatására promptok, modellek és lekérdezési pipeline-ok felett. A platform segít a mérnököknek az álmok, a prompt visszaesések és a visszakeresési hibák elkapásában a szállítás előtt, miközben termelésifigyelést kínál a valós felhasználói interakciók nyomon követésére. A csapatok centralizálhatják az adathalmazokat, megoszthatják a tesztelési eredményeket és iterálhatnak a promptokon mérhető visszajelzések alapján, nem pedig találgatások szerint. Fejlesztőknek, ML mérnököknek és QA csapatoknak készült, akik szerkezetzetten, metrikákra épülő megközelítést szeretnének az LLM minőségügyi biztosításához, szemben az ad-hoc manuális felülvizsgálattal.
Kritériumok szétosztása
- DeepEval-alapú értékelési metrikák
- Regressziós tesztelés promptokhoz és modellekhez
- RAG és visszakeresési értékelés
- Termelési nyomkövetés és figyelés
- Adathalmaz- és teszteset-kezelés
- Csoportos együttműködés az értékelési eredményeken
Fiddler AI
Mesterséges intelligencia megfigyelési és biztonsági platformja a monitoring, indokolás és kormányzás számára ML és LLM alkalmazásokhoz.
Fiddler AI egy vállalati platform, amely segíti a csapatokat a gépi tanulási modellek és a generatív AI alkalmazások termelésben történő felügyeletében, elemzésében és biztonságos működtetésében. Láthatóságot biztosít a modell teljesítményére, az adatok eltolódására, a torzításra és a minőségproblémákra, miközben védelmi mechanizmusokat kínál az LLM-ekhez kapcsolódó kockázatok, például a hallucinációk, a prompt‑injekció és a nem biztonságos kimenetek ellen. Az ML mérnökök, adatkutatók és a kockázati és megfelelőségi csapatok számára tervezve, a Fiddler egyetlen munkafolyamatban egyesíti a magyarázhatóságot, a valós idejű monitorozást és a guardrails-et. Integrálódik a gyakori ML pipeline-okkal és felhő környezetekkel, segítve a szervezeteket a felelős AI gyakorlatok méretarányos működtetésében.
Kritériumok szétosztása
- Modell teljesítmény- és eltolódásfigyelés
- LLM hallucinációs és biztonsági érzékelés
- Kérelmezési injekció- és börtön védelme
- Indokolható mesterséges intelligencia és gyökér okozó elemzés
- Mászás és törvényességi értékelések
- Táblázatok és figyelmeztetések a termelési AI-hez
Portkey
Egyetlen ellenőrző sík, ahol kiépítheted, kezelheted és figyeledheted az AI alkalmazásokat
A Portkey egy egyetlen ellenőrző sík szolgáltatás az AI alkalmazások kiépítéséhez, kezeléséhez és figyeléséhez. Olyan összefüggő platformot kínál, amelyben az AI-csapatok gyorsan termelésbe tudnak kerülni. Többek között az AI Gatewayt, figyelemmel kísérhetőséget (Observability), védőfaluakat (Guardrails), kormányzati eszközöket (Governance) és utasításkészletek (Prompt Management) biztosít. A szolgáltatás lehetővé teszi a felhasználók számára, hogy hozzáférjenek az 1600-nál több kinyomtatási modellhez (LLMs) egyetlen, egységes API-kapun keresztül, amely azáltal hozza közelebb a modell integrációra a szükséges folyamatot és lehetővé teszi a csapatoknak, hogy az építésre fókuszálhassanak, és ne a kezelésre. A Portkey valós időben követi nyomon a készüléket, lehetővé téve a felhasználóknak, hogy nyomon kövessék a kinyomtatási modell viselkedését, gyorsan észleljék az anómáliákat, és aktívan kezeljék a felhasználást. Emellett a szolgáltatás cache-képességeket biztosít, amelyek a redundáns tesztek csökkentésével azon felhasználók számára több ezer dollárt költségek csökkentését mutatták az elmúlt években. A Portkey a korlátozások nélküli 3000 GenAI-csapat számára tervezhető a kereskedelmi forgalomba és egy nagy mennyiségű tokenek feldolgozását támogatja naponta.
Kritériumok szétosztása
- AI-gateway multi-forrással
- Utasításkészletek kezelése és verziózása
- Kérelmi naplózás, nyomon követési láncok és elemzők
- Szinonim tárolás és újrakíséretek
- Védőfaluak beállítások input- és output-kezeléshez
- Felhasználási és költségbeli nyomonkövetési felületek
Relari (YC W24)
Kivizsgálás, értékelés és szintetikus adatgenerálós platform az AI ügynökök számára.
A Relari a fejlesztők platformja arra a célra, hogy javítsa az AI ügynökök megbízhatóságát rendszeres tesztelések és értékelések segítségével. Segít a csapatoknak szintetikus adatagyűjteményeket létrehozni, automatizált értékeléseket futtatni, és az ügynök teljesítményét mérni valósághű forgatókönyvekben a termelés megkezdése előtt. A Y Combinator által támogatott Relari az olyan komplex LLM alkalmazásokat és többlépéses ügynököket fejlesztő hardveres csapatokat célozza, amelyeknél a hagyományos tesztelés megbecsülhetetlen. A eszközök célja, hogy szoftverfejlesztői szigorúságot – egységteszteket, regressziós ellenőrzéseket és mérhető metrikákat – hordozzanak az alkalmazásokhoz és a nem megfelelő AI rendszerekhez nem megbízhatóan működő rendszerekhez. A platform támogatja a sajátosságú értékelőket, forgatókönyv-szimulációt és folyamatos figyelemmel kísérést, így mindenképpen hasznosnak bizonyul mind a indítás-előtti validációhoz, mind a termelési ügynökök állandó minőségi igazgatásához.
Kritériumok szétosztása
- Szintetikus adatkészlet-generálás
- Szabályzott ügynök-értékelési folyamatok
- Tényfeltárási forgatókönyvek és beszélgetés-szimuláció
- Konzultációval megadható értékelési mutatók
- Visszafordítható ellenőrzések az LLM alkalmazások számára
- Teljesítmény-becslés és beszámolók
Arize AI
Egy AI megfigyelés és LLM értékelési platform, amely segíti az AI fejlesztőket és adatkutatókat a monitorozásban, hibaelhárításban, és a teljesítmény fokozásában.
Az Arize AI a vizsgálhatósági és nagy moduláris nyelvi értékelési platform. Tudományos mérnököket és adatelemzőket segíti abban, hogy figyelemmel kísérjék, hibakeresik és javítsák a teljesítményüket a természetgyilkos modelleiknél. A platform hibakereső eszközökkel rendelkezik az issueazonosság és javítási javaslatokat biztosító eszközökért. Az Arize AI olyan tervezésre szánt természetgyilkos fejlesztőknek és adatelemzőknek van, akik a modelljük optimális teljesítményét szeretnék elérni. A platform képességei magukban foglalják a figyelemmel kísérést és a hibakeresést, lehetővé téve az üzemeltetők számára, hogy gyorsan azonosítsák és kezeljék a problémákat. Az Arize AI rendelkezik továbbá funkciókkal értékeléshez és javításához modellperformanciája segít a felhasználóknak, hogy finomítsák a modelljeiket időről időre. Amikor használják az Arize AI rendszerét, a felhasználók biztosíthatják, hogy a természetgyilkos modelleik a legmagasabb teljesítményen működjenek, és jobb döntéshozással és eredményekkel jár.
Kritériumok szétosztása
- Ai modelmonitorozás
- A hibakezelés és problémakeresés segítése
- A javítás javasolt generálása
- A model teljesítmény-értékelés
- A LLM értékelés és optimalizálás
Edwin AI
A IT műveletek számára tervezett robotos AI eszköz, amely felgyorsítja a helyzetkép észlelését, azonosítását és a rendezését.
Az Edwin AI egy AI robot, amely az IT műveletek számára tervezett ahhoz, hogy felgyorsítsa a helyzetkép észlelését, azonosítását és rendezését. Központi platformot biztosít az IT csapatok számára, hogy vizsgálja a helyzetkép, megértse hatását, keresse vagy generálja a megszüntetéshez szükséges megoldásokat és alkalmazza azokat a szokásos eszközökben anélkül, hogy át kellett volna térni más rendszerekhez. Az Edwin AI a jeleket összefüggésben állít össze, azonosítja a gyökereket és automatikusan beindítja a javítást az első figyelmeztetéstől a megerősített rendezésig. Az algoritmus a történelmi mintákat és figyelemmel kíséri az observabilitást a kimutatások és előrejelzéséhez a leállások és a kiesések kivédéséhez. A szoftver integrálódik több mint 3000 eszközzel az observabilitásban, APM-ban, biztonsági rendszerekben és CMDB-ben, lehetővé téve a valós idejű, határozott értesítéseket és a silók megszüntetését. A Forrester tanulmány kimutatta, hogy az Edwin AI 313% ROI-t nyújtott egy komponens szervezetnek, 6 hónapos vagy rövidebb megtérüléssel.
Kritériumok szétosztása
- Jeleség összefüggés és zajcsökkentés
- Azonosítási gyökerek AI-ve
- Természetes nyelvű helyzet összegzések
- Integrációk az ITSM és observabilitás platformokkal
- Automatizált vizsgálat folyamatok
- Tanulságok gazdagítása a múltbéli helyzetekből
FoundryAI
Felépíts, értékelj és javítson mesterséges intelligencia ügynököket üzleti automatizáláshoz
FoundryAI egy fejlesztői platform, amely az AI ügynökök létrehozására összpontosít, és valós üzleti munkafolyamatok kezelésére képes. Összevonja az ügynöktervezést, tesztelést és a folyamatos fejlesztési eszközöket, így a csapatok a prototípustól a produkcióig juthatnak anélkül, hogy különálló rendszereket kellene összefűzni. A platform hangsúlyozza az értékelést, lehetőséget biztosítva a fejlesztőknek az ügynök teljesítményének mérésére a meghatározott feladatokhoz viszonyítva, valamint a viselkedés időbeli finomhangolására. Ezáltal alkalmas olyan szervezetek számára, amelyek ügyfélszolgálatot, belső működést vagy ismétlődő tudásmunkát automatizálnak, ahol a megbízhatóság fontos. FoundryAI azoknak a technikai csapatoknak szól, akik nagyobb kontrollt igényelnek, mint a no‑code építőeszközök, de gyorsabb iterációt szeretnének, mint az ügynökök teljesen az alapoktól történő felépítése.
Kritériumok szétosztása
- Ügynök felépítő környezet
- Értékelési és tesztelési eszközök
- Teljesítmény monitoring
- Munkafolyamat automatizálási támogatás
- Iteratív fejlesztési körfolyamatok
- Integráció más üzleti rendszerekkel