Korábbi csata · 2026-07-24 UTC
Observability Leszámolás — 2026. július 24.
A(z) Observability kategóriából. 21 jelölés elhelyezve 9 versenyző között. Coval (YC S24) szerezte meg a koronát.
Végeredmény
A felállás
A versenyzők
Minden eszköz profilja, amely ebben a csatában versenyzett, a végső pontszámuk szerint rangsorolva.
Coval (YC S24)
Skálásokra tervezett egyénekkel és chat-ügynökök tesztelésével és értékelésével foglalkozó platform.
A Coval egy fejlesztői platform, amelyet az AI-ügynökök szimulálására, tesztelésére és kiértékelésére építettek, még mielőtt azok a termelésbe kerülnének. Lehetővé teszi a csapatok számára, hogy ezrek szintetikus beszélgetést futtassanak hang- vagy chat-ügynökeik ellen, és kiértékeljék, hogyan kezelik a szélsőséges eseteket, a megszakításokat, az eszköz'hívásokat és a többlépcsős beszélgetést. A Y Combinator (S24) által támogatott Coval egy „önvezető autók megközelítését” valósítja meg az ügynökök megbízhatóságában, szimuláció-alapú tesztelést alkalmazva a beszélgető AI-nél. A mérnökök meghatározhatják a forgatókönyveket, lejátszhatják az éles forgalmat, kiértékelhetik a kimeneteket egyéni metrikákkal, és nyomon követhetik a visszaeséseket az ügynökverziók között. A platform célja az ügyfélérintkezést biztosító csapatok támogatása az ügyfélszolgálat, értékesítés és operáció területén, ahol a megbízhatóság és a következetesség kritikus fontosságú a telepítéshez.
Kritériumok szétosztása
- Nagy skálás beszélgetés-szimuláció
- Hangos ügynökteszt a valós dialógusokkal
- Egyszerűsített értékelési kritériumok és skálázás
- Visszafordulás a regresszióval a ügynök-aktárokon
- Események és végpontok generálása
- Termelési forgalom replikálása
Fiddler AI
Mesterséges intelligencia megfigyelési és biztonsági platformja a monitoring, indokolás és kormányzás számára ML és LLM alkalmazásokhoz.
Fiddler AI egy vállalati platform, amely segíti a csapatokat a gépi tanulási modellek és a generatív AI alkalmazások termelésben történő felügyeletében, elemzésében és biztonságos működtetésében. Láthatóságot biztosít a modell teljesítményére, az adatok eltolódására, a torzításra és a minőségproblémákra, miközben védelmi mechanizmusokat kínál az LLM-ekhez kapcsolódó kockázatok, például a hallucinációk, a prompt‑injekció és a nem biztonságos kimenetek ellen. Az ML mérnökök, adatkutatók és a kockázati és megfelelőségi csapatok számára tervezve, a Fiddler egyetlen munkafolyamatban egyesíti a magyarázhatóságot, a valós idejű monitorozást és a guardrails-et. Integrálódik a gyakori ML pipeline-okkal és felhő környezetekkel, segítve a szervezeteket a felelős AI gyakorlatok méretarányos működtetésében.
Kritériumok szétosztása
- Modell teljesítmény- és eltolódásfigyelés
- LLM hallucinációs és biztonsági érzékelés
- Kérelmezési injekció- és börtön védelme
- Indokolható mesterséges intelligencia és gyökér okozó elemzés
- Mászás és törvényességi értékelések
- Táblázatok és figyelmeztetések a termelési AI-hez
Future AGI
Egy platform megvalósítva a szintetikus intelligencia pontosságának növekedését részletes értékeléssel és optimalizáló eszközökön keresztül.
A Future AGI egy platform, amely átfogó értékelő és optimalizáló eszközökkel növeli az AI pontosságát. Lehetővé teszi a felhasználók számára, hogy önfejlesztő ügynököket építsenek, felfedezzék, mi nem működik, és megtudják, miért. A platform számos funkciót kínál, többek között ügynök-értékelést, optimalizálást és szimulált beszélgetéseket. A felhasználók létrehozhatnak és kezelhetnek forgatókönyveket, és a platform elemzési és optimalizáló eszközöket biztosít az ügynökök teljesítményének javításához. Úgy tűnik, hogy a Future AGI a fejlesztők és vállalkozások igényeit szolgálja, akik AI-alapú chatbotok és ügynökök telepítését tervezik. Lehetővé teszi a felhasználók számára, hogy szimulálják a beszélgetéseket, értékeljék és optimalizálják az ügynökök teljesítményét, valamint integrálják a tudásbázisokkal. A platform inkább egy fejlesztőknek szóló eszköznek tűnik az AI-ügynökök létrehozására és finomhangolására, nem pedig ügyfélközpontú felületnek. A platform olyan funkciókat kínál, mint az ügynökértékelés, a szimulált beszélgetések és a szcenáriókezelés. Lehetővé teszi a felhasználók számára, hogy szerkesszék és kezeljék a promptokat, hozzáadják a tudásbázis‑cikkekhez a lekérdezési lépéseket, és integrálják a globális promptokat a komplex helyzetek kezeléséhez. Bár a Future AGI értékes funkciókat kínál az AI fejlesztéshez és optimalizáláshoz, korlátokkal is jár. Például általános tudásra támaszkodik, és összetettebb szituációk esetén további lépésekre lehet szükség. Emellett a platform szimulált beszélgetésekre való támaszkodása korlátozhatja a valós világ bizonytalanságainak kezelését. Úgy tűnik, a Future AGI egyedi funkciókészletet kínál az AI fejlesztéshez és optimalizáláshoz. Átfogó értékelési és optimalizációs eszközei értékes erőforrássá teszik a fejlesztők számára, akik AI ügynökeiket szeretnék finomhangolni. Ugyanakkor előfordulhat, hogy további fejlesztésre vagy integrációra van szükség a komplexebb helyzetek és a valós világ bizonytalanságainak kezeléséhez.
Kritériumok szétosztása
- Ügynök értékelés és rangsorolás
- Szimulált beszélgetések és forgatókönyv-kezelés
- Tudásközpont-integráció és visszakeresés
- Globális kérdéskezelés komplex helyzetek esetén
- Analitikai és optimalizálási eszközök
AI2AI project
Két mesterséges intelligencia egymással folytatott, valós idejű beszélgetését lehet megfigyelni
Az AI2AI projekt honlapján a felhasználók valós idejű, azaz éppen folyamatban levő beszélgetésként megtekinthetik két mesterséges intelligencia közötti kommunikációt. Az interakció megkezdéséhez a felhasználóknak két entitást kell létrehozniuk, figyelembe véve az entitásokhoz rendelt előfeltételt, kontextust, hangot és nemet, és egy nyelvi modellt kell választani. Az interakció elindítható, menthető és megosztható a többi felhasználóval az oldal rendszerében. Példák bizonyítják a különféle forgatókönyveket, mint például a szexuális ösztönzés, a harag, a kíváncsiság és a reklámcsapások. Új felhasználóknak el kell regisztrálniük és $1-ot (közönséges dollárt) kapnak hozzáférésért az oldalhoz. Az árazás percekre alapul, az első perctől 1 cent.
Kritériumok szétosztása
- Élő valós idejű mesterséges intelligencia-AI kommunikációs megfigyelés
- Két egyedi mesterséges intelligencia-entitás valós idejű beszélgetése
- Megfigyelési, nem befolyásoló felhasználói tapasztalat
- Emergiens mesterséges intelligencia viselkedés bemutatása
- Hozzáféréses böngészőalapú felület
Arize AI
Egy AI megfigyelés és LLM értékelési platform, amely segíti az AI fejlesztőket és adatkutatókat a monitorozásban, hibaelhárításban, és a teljesítmény fokozásában.
Az Arize AI a vizsgálhatósági és nagy moduláris nyelvi értékelési platform. Tudományos mérnököket és adatelemzőket segíti abban, hogy figyelemmel kísérjék, hibakeresik és javítsák a teljesítményüket a természetgyilkos modelleiknél. A platform hibakereső eszközökkel rendelkezik az issueazonosság és javítási javaslatokat biztosító eszközökért. Az Arize AI olyan tervezésre szánt természetgyilkos fejlesztőknek és adatelemzőknek van, akik a modelljük optimális teljesítményét szeretnék elérni. A platform képességei magukban foglalják a figyelemmel kísérést és a hibakeresést, lehetővé téve az üzemeltetők számára, hogy gyorsan azonosítsák és kezeljék a problémákat. Az Arize AI rendelkezik továbbá funkciókkal értékeléshez és javításához modellperformanciája segít a felhasználóknak, hogy finomítsák a modelljeiket időről időre. Amikor használják az Arize AI rendszerét, a felhasználók biztosíthatják, hogy a természetgyilkos modelleik a legmagasabb teljesítményen működjenek, és jobb döntéshozással és eredményekkel jár.
Kritériumok szétosztása
- Ai modelmonitorozás
- A hibakezelés és problémakeresés segítése
- A javítás javasolt generálása
- A model teljesítmény-értékelés
- A LLM értékelés és optimalizálás
Edwin AI
A IT műveletek számára tervezett robotos AI eszköz, amely felgyorsítja a helyzetkép észlelését, azonosítását és a rendezését.
Az Edwin AI egy AI robot, amely az IT műveletek számára tervezett ahhoz, hogy felgyorsítsa a helyzetkép észlelését, azonosítását és rendezését. Központi platformot biztosít az IT csapatok számára, hogy vizsgálja a helyzetkép, megértse hatását, keresse vagy generálja a megszüntetéshez szükséges megoldásokat és alkalmazza azokat a szokásos eszközökben anélkül, hogy át kellett volna térni más rendszerekhez. Az Edwin AI a jeleket összefüggésben állít össze, azonosítja a gyökereket és automatikusan beindítja a javítást az első figyelmeztetéstől a megerősített rendezésig. Az algoritmus a történelmi mintákat és figyelemmel kíséri az observabilitást a kimutatások és előrejelzéséhez a leállások és a kiesések kivédéséhez. A szoftver integrálódik több mint 3000 eszközzel az observabilitásban, APM-ban, biztonsági rendszerekben és CMDB-ben, lehetővé téve a valós idejű, határozott értesítéseket és a silók megszüntetését. A Forrester tanulmány kimutatta, hogy az Edwin AI 313% ROI-t nyújtott egy komponens szervezetnek, 6 hónapos vagy rövidebb megtérüléssel.
Kritériumok szétosztása
- Jeleség összefüggés és zajcsökkentés
- Azonosítási gyökerek AI-ve
- Természetes nyelvű helyzet összegzések
- Integrációk az ITSM és observabilitás platformokkal
- Automatizált vizsgálat folyamatok
- Tanulságok gazdagítása a múltbéli helyzetekből
FoundryAI
Felépíts, értékelj és javítson mesterséges intelligencia ügynököket üzleti automatizáláshoz
FoundryAI egy fejlesztői platform, amely az AI ügynökök létrehozására összpontosít, és valós üzleti munkafolyamatok kezelésére képes. Összevonja az ügynöktervezést, tesztelést és a folyamatos fejlesztési eszközöket, így a csapatok a prototípustól a produkcióig juthatnak anélkül, hogy különálló rendszereket kellene összefűzni. A platform hangsúlyozza az értékelést, lehetőséget biztosítva a fejlesztőknek az ügynök teljesítményének mérésére a meghatározott feladatokhoz viszonyítva, valamint a viselkedés időbeli finomhangolására. Ezáltal alkalmas olyan szervezetek számára, amelyek ügyfélszolgálatot, belső működést vagy ismétlődő tudásmunkát automatizálnak, ahol a megbízhatóság fontos. FoundryAI azoknak a technikai csapatoknak szól, akik nagyobb kontrollt igényelnek, mint a no‑code építőeszközök, de gyorsabb iterációt szeretnének, mint az ügynökök teljesen az alapoktól történő felépítése.
Kritériumok szétosztása
- Ügynök felépítő környezet
- Értékelési és tesztelési eszközök
- Teljesítmény monitoring
- Munkafolyamat automatizálási támogatás
- Iteratív fejlesztési körfolyamatok
- Integráció más üzleti rendszerekkel
Helicone AI
Összefogott megfigyelőplatform az applikációk monitorozásához, hibakereséséhez és fejlesztéséhez szolgáló LLM alkalmazásokra.
A Helicone AI egy fejlesztői felkészültségű figyelemfelkeltési platform, amelyet a nagy méretű nyelvi modellek által hajtott alkalmazásokhoz szánták. Tudja fogni a kéréseket, a válaszokat, a költségeket és a késést a szolgáltatók között, így a mérnöki csapatoknak egységes megjelenést ad az LLM-komponensek viselkedéséről a termelésben. A naplózás mellett a Helicone fejlett eszközöket kínál a kérdések hibakeresésére, a többlépcsős ügynök folyamatok nyomán való nyomon követésre, a végrehajtások futtatására és a felhasználó-szintű felhasználási nyomon követésre. A csapattagok az adatokban való feltételezés nélküli iterációk helyett regresziók azonosítására, költségszabályozásra, és kérdések iterálására károsíthatnak, hogy adatai segítségével működhessenek. A köztudott modell-kedvelőkkel, illetve keretrendszerekkel integrálva alacsony súlyú proxy vagy aszinkron naplózás segítségével könnyedén hozzáadható a meglévő stakhekhez minimális kódváltozásokkal.
Kritériumok szétosztása
- Kérések és válaszok feljegyzése
- Költség- és token használati nyomon követés
- Párhuzamos feladatkezelők és szezon nyomon követése
- Egyszerű értékelések és táblázatok futtatása
- Felhasználó- és gyorsítótár elemzés
- Cárnézetek és fogyasztási összehasonlítás
llm scout
Figyelje meg, hogyan jelenik meg a márkája a ChatGPT, Claude, Perplexity és a Google AI Áttekintésekben.
Az LLM Scout egy márkakeresési eszköz, amely a generatív keresés korára tervezve készült. Nyomon követi, hogy az Ön szervezete, termékei és versenytársai megszólalásai milyen nagy számú mesterséges intelligencia-asszisztensen és válaszmotoron szerepelnek, és így az áruhívő és SEO-csapatokat tájékoztatja egy olyan csatornáról, amelyet a hagyományos analytics eszközök figyelembe nem vesznek. A platform a ChatGPT, Claude, Perplexity és Google AI-összefoglalókkal foglalkozó rendszereket érinti ismétlődő kérdések, majd szívfoglalás, hangulat, idéző források és az idő múlásával bekövetkező változásokról számol be. A csapatok ezeken az áttekintéseken alapulva finomíthatják tartalmi stratégiájukat, azonosíthatják a konkurencia helyett ajánlott, ahol a szerelem megvan. Sőt ezek a megállapítások lehetővé teszik a nagy nyelvi modellekkel szembeni működésmód változtatásának hatásának mérését is.
Kritériumok szétosztása
- Márka- és versenytárs-említés nyomon követése
- Figyelés a ChatGPT, Claude, Perplexity és AI Áttekintések felett
- Hangulat és részarány elemzése
- Idézet és forrás láthatósága
- Egyéni prompt követése
- Történelmi trendek jelentése