Praeita kova · 2026-07-24 UTC
Observability Susirėmimas — 2026 m. liepos 24 d.
Iš Observability kategorijos. 21 įvertinimai pateikti tarp 9 kovotojų. Coval (YC S24) laimėjo vainiką.
Galutiniai rezultatai
Dalyviai
Kovotojai
Kiekvieno šioje kovoje dalyvavusio įrankio profiliai, surikiuoti pagal galutinį rezultatą.
Coval (YC S24)
Plokšti ir įvertinimo platformos sistema, skirta masinei bandymų ir apžiūros priemonėms testi žymimosis kalbančiųjų ir žiurių agentų.
Coval yra programuotojų platforma, kurios tikslas – simuliavoti, testuoti ir įvertinti inteligentas agentus, prieš išvyką į produkciją. Jo pagalba komandose gali būti įvykdyti tūkstančiai sintetiškų pokalbių su balsų ar chatai agentais, matyti, kaip jie valdo kraštinius atvejus, nutraukiamuosius pokalbius, funkcijų vadinimus iki ryškios šviesos bei daugiasvaržius dialogus. Kuriantis palaikomas Y Combinator (S24), „Koval' pasitelkia siunčiamąjų automobilių pasekėjystės“ požąsį agentų patikimumui, taikydamos tvirtą simuliacijų pagrindų testavimą pokalbių AI. Inžinieriai gali nustatyti scenarijus, atkartoti gamybinės traffic reikšmes, įvertinti išvestį pagal nuosavybinio matavimo parametrais bei priežiūri kiečių pokyčius esamų agentų versijų. Platforma skirta komandoms, kurioms priklauso klientų aptarnavimo agentai, siekiantys pagalbos, parduodamųjų bei operacijų sričių, kur ryškiai svarbu išlaikyti stabią ir konstancią deploymentą.
Kriterijų išskirstymas
- Didelio masto pokalbių simuliavimas
- Žymimosi agentų testavimas tikslūsiais dialogais
- Atnaujintos įvertinimo matmenys ir skaidrodavimas
- Regresijų tęsinys agentų versijų atžvilgiu
- Scenarijų ir kraipinėlių generavimas
- Produkcijos srauto paprastosios atgalinės perteikimo galimybės
Fiddler AI
Inteligentos sistemos stebėjimo bei saugumo platforma, skirta monitoringui, aiškinimui ir valdymui ML ir LLM taiklių gamyboje.
Fiddler AI yra verslo platforma, kuri padeda komandoms monitoruoti, analizuojuoti ir saugoti mašinų mokymos modelius bei generatyvųjį AI programavimą pramonėje. Jame gausi perspėjimas į modelio veiksmingumą, duodamosi svyravimą, diskriminaciją bei kokybės problemų, o taip pat ir priemonės apsaugoti prieš rizikas specifines LLMs, kaip vaizdavimas, priedmenų įjungimas bei pavojingas išvedimus. Šiam technologijų inžinerijos mokslininkui, data mokslininkai bei rizikų ir kontrolės komandomiems Fiddler jungia aiškinimą, realaus laiko monitorinį ir keliuos valdymą į vieną protokolą. Jis integracija su bendrųjų ML srautų ir cloudy aplinkų pagalba padeda organizacijoms užbaigti atsakingos AI praktikas skalyje.
Kriterijų išskirstymas
- Modelio performansių ir smuginimo stebėjimas
- LLM hallucinacijų ir saaugumu detekcija
- Prompt injection ir lankstybine apsauga
- Aiškinamasis AI ir pagrindinių priežasčių analitika
- Nuoširdumo ir sąžingumo vertinimai
- Dalyvavimo lentelių ir prispausdintų priekšaiškių sistemas gamybinėms AI sistemas
Future AGI
Ši platforma pagerina AI tikslumo naudingas įrankis, kuris apima įvairiausių įvertinimo ir Optimizavimo sąsajas.
AGI ateitis - tai platforma, kuri padeda pagerinti AI sistemų tikslumą plėtoti įvairius vertinimo ir optimizavimo įrankius. Naudotojams leidžia kurti patįs paisyti agentus, užfiksuoti, ką nepasiekia, ir sužinoti kodą. Platforma siūlo daugybę funkcijų, įskaitant agentų vertinimą, optimizavimą ir simuliujamąsias pokalbus. Vartotojai gali kurstyti ir valdyti scenarius, o platforma teikia analizų ir optimizavimo įrankius, kad pagerintų agento našumą. Priešsroviška AGI, be abejo, ruošia programintojams ir bendrovėms siekiant pritaikyti ir gindami komunikacinio roboto, kuriam prieaišo AGI. Naudojantis sistema leidžia vartotojams simuliavus pokalbius, vertinti ir optimizuoti agento atliekams uždėlius ir integruotis su žinių bazėmis. Platforma atrodo būti skirta programintojams, kurie nori sukurti ir atspalvinti AGI agentus, o ne klientų veiksnį. Platformas suteikia funkcijas kaip agento vertinimą, simuliujamus pokalbius bei scenarijų valdymą. Jis leidžia vartotojams redaguoti bei valdyti užklausas, pridėti atgavitimo žingsnius žinyne straipsniui bei integravimą su globaliais užklausomis siekiant išvengti mažiau kompleksių situacijų. Kai Future AGI siūlo naudingas funkcijas aiškinimui ir optimizacijai bei inteligentinių sistemų kūrimui, ji taip pat turi ribojudamas aspektus. Pavyzdžiui, ji visada remiasi bendriuoju žinoviu ir gali reikėti papildomų procedūrų komplikusioms scenarijams. Taip pat, platforma priklauso nuo simuliatorių konversacijos, nors tai gali riboti jos galimybę atsakyti tiesiogiai už realių pasaulio nenumatytumų. Future AGI atrodo pasižymįją sąnašą žemės sąrašo ir optimalizavimo priemonių privalumus, skirtu jų AI programavimo ir optimizavimo siekėms. Jų kompleksų vertinimų ir optimalizavimo priemonės padeda jų kūrėjams apribojus ir ištoždyti naujas AI agentūras. Tačiau jos galėtų reikėti papildomų programuojimo arba integravimo darbų, kad atrodytų galėti išštremti daug komplaesnius scenarijus ir tiesioginai realybės netiesumus.
Kriterijų išskirstymas
- Agento įvertinimas ir rikiavimas.
- Simuliuviai pokalbiai ir scenarijų valdymas.
- Žinotų bazės integravimas ir atsiskaitymas.
- Globalūs priedų valdymas už kompleksius situacijas.
- Analitika ir Optimizavimo įrankiai.
AI2AI project
Rodykite, kaip du AI agentai pasiklosto vienas su kitu tiesiogine laiku.
SVetaine CVI AI2AI projektas, naudotojai gali žiūrėti realaus laiko sąsająjas tarp dviejų AI agentų. Kad pradėti interakciją, naudotojai privalo sukurti du entitetas, priskiriant jiems prašymą, kontekstą, kalbos balsą ir lytį, bei pasirinkti kalbos modelį. Interakcija gali pradeti, išsaugoti bei pranešti kitam naudotojui, besivizdojančiam svetainėje. Pavyzdžiai pasirodo, parodydami skirtingas scenarijus tokias, kaip priklausomybė, liūdesys, svajonės ar prekių reklamos. Nauji naudotojai privalo prisiregistruoti ir gauti 1 JAV dolerį pinigines, kad galėtų tyrėti platformą. Kaina yra paremta per minutę taika, prasidedanti nuo 0,01 JAV dolerio per minutę.
Kriterijų išskirstymas
- Realus AI-į-AI dialogo matavimas
- Dvi skirtingos AI entitetais, susiduriančios kalba
- Naujadarbės, neatidariusi vartotojo įžanga
- Emeržentoji AI elgsena demonstracija
- Prieinama internetinis naršyklėje skirtas interfeisas
Arize AI
Platforma, kurianti žinių analizės priemonės ir modelių įvertinimą LLM, pagalbos įgyvendina programuotojų, kuriantių AI, bei duomenų mokslininkų monitorinės sistemos naudojimą, problemų tyrinėjimą ir paramą, kad LLM įdiegtų sistemų bei duomenų tyrinėjimų performansas...
Arize AI yra LLM įvertinimo ir LLM observabiliteto platforma. Ji padeda programų automatizavimo specialistams bei duomenų mokslininkams stebėti, paaiškinti, bei pagerinti savo AI modelių kokybę. Platforma pateikia priemones, kurios padeda įsitiktinį problemų identifikavimą bei rekomendacijų, kurios padeda vartotojams užimti savo modelių tikslumą ir paplitimą. Arize AI yra projektuojama programa, kuriai reikia optimizuoti savo modelių veiksimą. Platformos galimybės įskaito stebėjimą ir paaiškinimą, leidžia vartotojams greitai identifikuoti ir susipažinti su problemomis. Arize AI taip pat pateikia funkcijas, dėl kurios veiksmingos modelio kokybę įvertina ir pagerina, leidžiant vartotojams kuo pagerinti savo modelius per laiko. Naudojantis Arize AI, vartotojai gali pasiekti, kad jų AI modeliai veikia taip, kad reikėtų, leidžiant pagerinti sprendimų priėmimo ir išvados. Platformos dėmesio svarstymas ir įvertinimas padeda ją užimti savo vieta tik prie kitų programų automatizavimo priemonių tarp kitų tikraisiai AI priemonių, veikiančių su didžiais kalbos modeliais bei kitais sudėtingaisiais AI sistemomis.
Kriterijų išskirstymas
- Sąrašo regavimo sistemas
- Tremtynimo ir klausimų nustatymo problemų identifikavimas
- Sugestija priesaikos problemų paaiškinimui
- Rūšies vertinimas
- LLM vertinimas ir optimizavimas
Edwin AI
IT operacijų agentas, kuris pagero incidentų detekciją, triagavimą ir išsprendimą.
Edwin AI yra naujoji IT operacijų agentas konkuriruojančių agentų, kuris pagero incidentų detekciją, triagavimą ir išsprendimą. Jis teikia centrinę platformą IT komandoms, kad tyrinėtų incidentus, suprantų jų poveikį, ieško arba generavo sąmoningus sprendimus, ir taip jais apsikeičia per esančias priemones be reikmės keisti sistemas. Edwin AI korreliuoja signalai, identifikuoja šaknines priežastingumo priežastis, ir automatizuojasi išliekimas nuo pirmo signalo iki pat įrodytasio išsprendimo. Jis naudoja istorinius modelius ir atvaizduojantiesį duomenų apžvalgą, kurį pasiekia prognostikavimą ir išvengiamą atsilpusį. Prieinama virš 3 000 priemonių, per observability, APM, saugumą ir CMDB, taip pat galiausiai galima suteikti tiesioginius, veiksmingus apžvalgų ir užkarpštuoti siluos. Forrester tyrimas išrūuoja, kad Edwin AI išvengė 313% pelno atgavimo suderinama organizacijai, su sąmoningu grąžų laiku net iki 6 mėnesių.
Kriterijų išskirstymas
- Signalų koreliacija ir šumų pramonė
- Naujų žodžių incidentų apžvalgų
- Naturaliojo kalbos incidentų sąžiningiems perdavimui
- Integravimas su ITSM ir atvaizduojančiuose platformų
- Automatinė triagavimo aplinkos darbovietė
- Priešistorinė saugoma žinios ir pramonė iš pastarųjų incidentų
FoundryAI yra kuriamųjų projektų platforma, siekiant sukurti AI agentus, kurie tvarko realiuosius verslo darbus. Ji susieja agento dizainą, bandymų, bei užtikrinamą tolesnį patobulimą, kad komandos gali persislinkti nuo prototipo iki produkcijos neišsišakos, sujungus atskirus sistemas. Platforme skirsto žiniatinklio vertinimą, leidžiant kūrėjams matuoti agento performansą, išvystytą taikant nustatytas užduotis ir pagerindamas elgseną per laiką. Tai padeda jiems tinkamai tinkamą organizacijoms, automatiškai tvarkanti klientų aptarnavimo, internų operacijų, ar vėliavos žinių darbą, kur reliabiliškumas yra svarbus. FoundryAI siektasi inžinierių komandų, kurios reikalauja daugiau valdymo nei nors kode pradininkų siūlomi pasiūlymai, tačiau norėjo greitesnis iteracija nei tiek, kur agente pilnai iš naujo pradžioje yra statomi.
Kriterijų išskirstymas
- Agentų kūrimo aplinkos
- Evaluacija ir testavimo įrankiai
- Performances monitorė
- Suvokimui automatinis darbas
- Iteracijų ciklai
- Integracija su verslo sistemomis
Helicone AI
Visiškai integruotas observabilumo platforma, skirta monitoruoti, pataisyti ir pagerinti produkcinio LLM aplikacijų veikimą.
Helicone AI yra kuratorių įrengimas su observability funkcionalumo, kuris yra sukuręs specialiai aplikacijas užpildo dideliu kalbos modelių, įskaitant taikinčius, atsakymus, kainas, ir prasmeines užtrukusius laikus kroz providerių, suteikiant inžineriniams komandoms bendrą vaizdą, kaip jų LLM funkcijos elgiasi produktacijos lygį. Visa ne tik registruojant, „Helicone" siūlo priemonės užtikrinimui, tiesiogiai nukreipti prieveikius, traktuoti keliojusių agentų sąsuvio aplenkimų, einant ekoje ir registruoti naudotojų lygio naudojimą. Komandos gali nustatyti regresijas, valdyti išlaidas ir iteruoti prielaidas tiesiagos data, o ne pasimanyti. Jis integravosi su populiariausiais modelių teikiotojais ir kladžiais per lengvą vandenieją arba asinkroninę logiką, padeda tiesiogiai pridėti prie esamų staklių be reikiamų kode changes.
Kriterijų išskirstymas
- Prašytojų ir atsakymų logavimas
- Išlaidų ir tokeno naudojimo įskaitos
- Prašymų valdymas ir versijos valdymas
- Agentų ir sesijų įrašinėjimas
- Individualizuotos įvertinimai ir valdikliai
- Vartotojų ir sąnaudų apribojimų analizė
llm scout
Išvagėdami, kaip jūsų markė atsiranda tarp ChatGPT, Claude, Perplexity, ir Google AI Ataskaitų.
LLM Scout yra markės peržiūros įrankis, sukurtas generatyvinės paieškos epochai. Jis trackuoja, kaip jūsų bendrovė, produktai ir priešininkai paminėti įvairiuose AI asistentuose ir atsakymų varžybose, suteikiant marketingo ir SEO komandoms peržiūrą į kanalu, kurį tradiciniai analizės įrankiai paslenka. Platforma vykdo periodinius prašymus krovę sistemoms kaip ChatGPT, Claude, Perplexity ir Google 'AI Ataskaitų, tada ataskaito dėl balsų dalies, nuostabių nuostatų, šaltinių šaltinių ir pokyčių per laiką. Komandoms galimai užvaldę šiuos žinojimus, kad sutvarkytų turiningą strategiją, identifikuokite pradžios, kaip priešininkai rekomenduojami, ir mato optimistinėjo darbų taikų dideliems kalbos modeliams.
Kriterijų išskirstymas
- Markės bei priešininko paminėjimos trackėjimas
- Atžvilgiai ChatGPT, Claude, Perplexity ir AI Ataskaitose
- Nuostabių balsų ir dalies nuostabių analize
- Šaltinių ir šaltinių matomumas
- Nusikalstama prašymų trackėjimas
- Istorinio tendeno ataskaita