Pretekla bitka · 2026-07-24 UTC
Observability Obračun — 24. julij 2026
Iz kategorije Observability. 21 oznake postavljenih med 9 borci. Coval (YC S24) je osvojil krono.
Končna razvrstitev
Postava
Borci
Profili vsakega orodja, ki je tekmovalo v tej bitki, razvrščeni po končnem rezultatu.
Coval (YC S24)
Simulacijska in evalvacijska platforma za testiranje AI glasovnih in klepetalnih agentov v velikem obsegu.
Coval je platforma za razvijalce, zasnovana za simulacijo, testiranje in ocenjevanje AI agentov, preden pridejo v produkcijo. Omogoča ekipam izvajanje tisočih sintetičnih pogovorov z njihovimi glasovnimi ali klepetalnimi agenti, pri čemer meri, kako se spopadajo z robnimi primeri, prekinjanji, klici orodij in dialogom z več izmenjavami. Podprti s strani Y Combinator (S24) se Coval postavlja kot 'pristop samovozečih avtomobilov' k zanesljivosti agentov, pri čemer uporablja strogo testiranje na podlagi simulacij za konverzacijsko AI. Inženirji lahko definirajo scenarije, ponovno predvajajo promet v produkciji, ocenijo izhode glede na prilagojene metrike in sledijo regresijam med različicami agenta. Platforma je namenjena ekipam, ki razvijajo agente, usmerjene k strankam v podpori, prodaji in operacijah, kjer sta zanesljivost in doslednost ključni za uvedbo.
Razdelitev kriterijev
- Simulacija pogovorov v velikem obsegu
- Testiranje glasovnih agentov z realističnimi dialogi
- Prilagojene evalvacijske metrike in ocenjevanje
- Spremljanje regresij med različicami agentov
- Generiranje scenarijev in robnih primerov
- Ponovno predvajanje produkcijskega prometa
Fiddler AI
AI platforma za opazovanje in varnost, namenjena spremljanju, razlaganju in upravljanju aplikacij ML in LLM.
Fiddler AI je poslovna platforma, ki ekipam omogoča spremljanje, analiziranje in varovanje modelov strojnega učenja ter generativnih AI aplikacij v produkciji. Ponuja vpogled v delovanje modelov, odmik podatkov, pristranskost in težave s kakovostjo, hkrati pa zagotavlja zaščito pred tveganji, specifičnimi za LLM‑ov, kot so halucinacije, prompt injection in nevarni izhodi. Oblikovan za ML inženirje, podatkovne znanstvenike ter ekipe za tveganja in skladnost, Fiddler združuje razložljivost, spremljanje v realnem času in varnostne ukrepe v enoten delovni tok. Integrira se z običajnimi ML cevovodi in oblačnimi okolji, organizacijam pa pomaga operationalizirati odgovorne AI prakse v velikem obsegu.
Razdelitev kriterijev
- Spremljanje zmogljivosti modela in drifta
- Zaznavanje halucinacij in varnosti pri LLM
- Zaščita pred vnosom promptov in jailbreak napadi
- Razložljiva AI in analiza vzrokov
- Ocene pristranskosti in pravičnosti
- Nadzorne plošče in opozorila za produkcijsko AI
Future AGI
Platforma, ki izboljšuje natančnost AI s pomočjo celovite ocene in orodij za optimizacijo.
Future AGI je platforma, ki izboljšuje natančnost AI s pomočjo celovitega orodja za ocenjevanje in optimizacijo. Uporabnikom omogoča gradnjo samoizboljšujočih agentov, odkrivanje napak in razumevanje vzrokov. Platforma ponuja vrsto funkcij, vključno z ocenjevanjem agentov, optimizacijo in simuliranimi pogovori. Uporabniki lahko ustvarjajo in upravljajo scenarije, platforma pa nudi analitike in orodja za optimizacijo, ki izboljšujejo zmogljivost agentov. Future AGI se zdi, da je namenjen razvijalcem in podjetjem, ki želijo uvajati AI‑podprte klepetalnike in agente. Uporabnikom omogoča simulacijo pogovorov, ocenjevanje in optimizacijo učinkovitosti agentov ter integracijo z bazami znanja. Platforma izgleda kot orodje za razvijalce za ustvarjanje in izpopolnjevanje AI agentov, namesto kot uporabniški vmesnik za stranke. Platforma ponuja funkcije, kot so ocenjevanje agentov, simulirani pogovori in upravljanje scenarijev. Uporabnikom omogoča urejanje in upravljanje promptov, dodajanje korakov za pridobivanje iz člankov baze znanja ter integracijo z globalnimi prompti za obravnavo kompleksnih situacij. Čeprav Future AGI ponuja dragocene funkcije za razvoj in optimizacijo umetne inteligence, ima tudi svoje omejitve. Na primer, temelji na splošnem znanju in za bolj zapletene scenarije lahko zahteva dodatne korake. Poleg tega lahko odvisnost platforme od simuliranih pogovorov omeji njeno sposobnost obvladovanja nepredvidljivosti v resničnem svetu. Future AGI se zdi, da ponuja edinstven nabor funkcij za razvoj in optimizacijo AI. Njegova obsežna orodja za ocenjevanje in optimizacijo ga naredijo za dragocen vir razvijalcem, ki želijo izpopolniti svoje AI agente. Vendar pa lahko zahteva dodatni razvoj ali integracijo za obvladovanje bolj zapletenih scenarijev in negotovosti v realnem svetu.
Razdelitev kriterijev
- Ocena in rangiranje agentov
- Simulirani pogovori in upravljanje scenarijev
- Integracija in iskanje po bazi znanja
- Globalno upravljanje pozivov za kompleksne situacije
- Analitika in orodja za optimizacijo
Na spletni strani projekta AI2AI uporabniki lahko opazujejo pogovore v realnem času med dvema AI agentoma. Za začetek interakcije morajo uporabnike ustvariti dve entiteti, jim dodeliti navodila (prompt), kontekst, glas in spol, ter izbrati jezikovni model. Interakcijo lahko začnejo, shranijo in delijo z drugimi uporabniki na strani. Prikazane so primere interakcij, ki predstavljajo različne scenarije, kot so prepričevanje, jezo, radovednost in prodajni predlogi. Novi uporabniki se morajo registrirati in prejeti kredit v višini 1 $ za raziskovanje platforme. Ceno določajo po minuti, od 1 centa na minuto.
Razdelitev kriterijev
- Spremljanje živih dialogov AI-ov z AI-om
- Dve različni AI entiteti v pogovoru
- Opazovalna, brezvmesna uporabniška izkušnja
- Prikaz emergentnega AI vedenja
- Dostopen vmesnik na osnovi brskalnika
Arize AI
Platforma za opazovanje AI in ocenjevanje LLM, ki pomaga razvijalcem AI in podatkovnim znanstvenikom pri spremljanju, odpravljanju težav in izboljševanju zmogljivosti…
Arize AI je platforma za vidnost AI in ugotavljanje vrednosti LLM-a. Pomagajo AI razvijalcem in podatkovnim znanstvenikom pri spremljanju, razbremenjevalu in izboljšanju učinkovitosti njihovih modelov AI. Platforma ponuja orodja za identifikacijo težav in priporočanj priporočljivih rešitev, pomagajo uporabnikom izboljšati točnost in zanesljivost svojih modelov. Arize AI je zasnovan za AI razvijalce in podatkovne znanstvenike, ki morajo optimizirati učinkovitost svojih modelov. Orodja platforme vključujejo spremljanje in razbremenjevanje težav, kar uporabnikom omogoča hitro identifikacijo in rešitev težav. Arize AI tudi podaja značilnosti za ocenjevanje in izboljšanje učinkovitosti modelov, kar uporabnikom omogoča da se svoje modeli spreminjajo skozi čas. Z uporabo Arize AI se lahko uporabniki zagotovijo, da se njihove AI modeli uresničujejo v optimalni učinkovitosti, kar vodi do boljšega odločanjskega izida in izidov. Fokus platforme na vidnost in ocenjevanje ga razlikuje od drugih orodij za razvoj AI, kar ga predstavlja kot cenni vir za tiste, ki delajo z velikimi jezikovnimi modeli in drugimi zelo kompleksnimi sistemami AI.
Razdelitev kriterijev
- Pregledovanje modelov AI
- Razbiranje in reševanje težav
- Generiranje predlogov popravilk
- Ocena izvedljivosti modelov
- Pregled in optimizacija LLM
- Ocena izvedljivosti in optimizacija modelov
Edwin AI
AI agent za IT operacije, ki pospešuje odkrivanje, triažo in reševanje incidentov.
Edwin AI je AI agent za IT operacije, zasnovan za pospešitev zaznavanja incidentov, triage in reševanja. Nudi centralizirano platformo za IT ekipe, ki omogoča preiskovanje incidentov, razumevanje njihovega vpliva, iskanje ali ustvarjanje popravkov ter njihovo uporabo v obstoječih orodjih, brez potrebe po preklapljanju med sistemi. Edwin AI korelira opozorila, identificira osnovne vzroke in samodejno sproži odpravo, od prvega opozorila do potrjene rešitve. Uporablja zgodovinske vzorce in podatke o opazljivosti za napovedovanje in preprečevanje izpadov. Orodje se integrira z več kot 3.000 orodji na področju opazljivosti, APM, varnosti in CMDB, kar omogoča vpogled v realnem času, dejanske ukrepe in odpravlja silose. Študija Forrester je ugotovila, da je Edwin AI prinesel 313 % ROI za sestavljeno organizacijo, s povrnitvijo investicije v 6 mesecih ali manj.
Razdelitev kriterijev
- Korelacija alarmov in zmanjševanje šuma
- Predlogi za korenski vzrok, ki jih poganja AI
- Povzetki incidentov v naravnem jeziku
- Integracije z ITSM in platformami za opazovanje
- Avtomatizirani triažni tokovi
- Obogatitev znanja iz preteklih incidentov
FoundryAI je razvojna platforma, osredotočena na ustvarjanje AI agentov, ki upravljajo z dejanskimi poslovnimi procesi. Združuje orodja za oblikovanje agentov, testiranje in nenehno izboljševanje, tako da ekipe lahko preidejo od prototipa do produkcije, ne da bi morali sestavljati ločene sisteme. Platforma poudarja vrednotenje, razvijalcem nudi načine za merjenje zmogljivosti agentov glede na definirane naloge ter sčasoma izpopolnjuje njihovo vedenje. To jo naredi primerno za organizacije, ki avtomatizirajo podporo strankam, interne operacije ali ponavljajoče se delo z znanjem, kjer je zanesljivost ključna. FoundryAI cilja tehnične ekipe, ki potrebujejo več nadzora kot ponujajo graditelji brez kode, a želijo hitrejšo iteracijo kot pri gradnji agentov povsem od začetka.
Razdelitev kriterijev
- Okolje za ustvarjanje agentov
- Orodja za ocenjevanje in testiranje
- Spremljanje zmogljivosti
- Podpora avtomatizaciji delovnih tokov
- Iterativne zanke izboljšav
- Integracija s poslovnimi sistemi
Helicone AI
Celovita platforma za opazovanje, ki omogoča spremljanje, odpravljanje napak in izboljšanje produkcijskih LLM aplikacij.
Helicone AI je platforma za opazovanje, osredotočena na razvijalce, posebej zasnovana za aplikacije, ki delujejo z velikimi jezikovnimi modeli. Zajemajo zahteve, odzive, stroške in zakasnitev med ponudniki, kar inženirskim ekipam omogoča enotni pogled na obnašanje njihovih LLM funkcij v produkciji. Poleg logiranja Helicone ponuja orodja za odpravljanje napak promptov, sledenje večkoraknih delovnih tokov agentov, izvajanje evalvacij in sledenje uporabi na ravni uporabnika. Ekipa lahko zazna regresije, nadzoruje stroške in iterira z prompti na podlagi podatkov namesto domislic. Integrira se z priljubljenimi ponudniki modelov in okviri prek lahkega proxyja ali asinhronega beleženja, kar omogoča enostavno dodajanje v obstoječe sklade brez večjih sprememb kode.
Razdelitev kriterijev
- Zapisovanje zahtev in odgovorov
- Sledenje stroškom in porabi žetonov
- Upravljanje in različkovanje promptov
- Sledenje agentom in sej
- Prilagojena vrednotenja in nadzorne plošče
- Analiza uporabnikov in omejitev hitrosti
llm scout
Spremljajte, kako se vaša znamka prikazuje v ChatGPT, Claude, Perplexity in Google AI Overviews.
LLM Scout je orodje za spremljanje blagovnih znamk, zasnovano za obdobje generativnega iskanja. Spremlja, kako se vaša družba, izdelki in konkurenti omenjajo med največjimi AI pomočniki in motorji za odgovore, kar marketinškim in SEO ekipam omogoča vpogled v kanal, ki ga tradicionalna analitična orodja spregleduje. Platforma izvaja ponavljajoče se povpraševanje proti sistemom, kot so ChatGPT, Claude, Perplexity in Googleove AI Overviews, nato poroča o share of voice, sentimentu, virih citatov in spremembah skozi čas. Ekipa lahko te vpoglede uporabi za izboljšanje strategije vsebin, identificiranje vrzeli, kjer se konkurenti priporočajo namesto, in merjenje vpliva optimizacijskih prizadevanj, usmerjenih na large language models.
Razdelitev kriterijev
- Sledenje omembi blagovne znamke in konkurentov
- Spremljanje na ChatGPT, Claude, Perplexity in AI Overviews
- Analiza sentimenta in deleža glasu
- Vidnost citatov in virov
- Sledenje lastnim vnosom
- Poročanje o zgodovinskih trendih