Praeita kova · 2025-12-21 UTC
Observability Susirėmimas — 2025 m. gruodžio 21 d.
Iš Observability kategorijos. 39 įvertinimai pateikti tarp 10 kovotojų. AI2AI project laimėjo vainiką.
Galutiniai rezultatai
Dalyviai
Kovotojai
Kiekvieno šioje kovoje dalyvavusio įrankio profiliai, surikiuoti pagal galutinį rezultatą.
AI2AI project
Rodykite, kaip du AI agentai pasiklosto vienas su kitu tiesiogine laiku.
SVetaine CVI AI2AI projektas, naudotojai gali žiūrėti realaus laiko sąsająjas tarp dviejų AI agentų. Kad pradėti interakciją, naudotojai privalo sukurti du entitetas, priskiriant jiems prašymą, kontekstą, kalbos balsą ir lytį, bei pasirinkti kalbos modelį. Interakcija gali pradeti, išsaugoti bei pranešti kitam naudotojui, besivizdojančiam svetainėje. Pavyzdžiai pasirodo, parodydami skirtingas scenarijus tokias, kaip priklausomybė, liūdesys, svajonės ar prekių reklamos. Nauji naudotojai privalo prisiregistruoti ir gauti 1 JAV dolerį pinigines, kad galėtų tyrėti platformą. Kaina yra paremta per minutę taika, prasidedanti nuo 0,01 JAV dolerio per minutę.
Kriterijų išskirstymas
- Realus AI-į-AI dialogo matavimas
- Dvi skirtingos AI entitetais, susiduriančios kalba
- Naujadarbės, neatidariusi vartotojo įžanga
- Emeržentoji AI elgsena demonstracija
- Prieinama internetinis naršyklėje skirtas interfeisas
Confident AI
LLM vertinimo platforma, kuria parengta DeepEval, skirta LLM priemonių testinimui, stebėjimui ir tobulėjimui.
Confident AI yra vertinimo ir stebėjimo platforma užsiėmimams, kurie kūna sąmoningus kalbos mokymo modelius. Apgynėjantis atvirą-source DeepEval rūšiavimo, jis suteikia vieningą darbo erdvę, kuri leidžia vykdyti bendroji tikslai, regresinio testavimo bei kokybės patikrinimo priemonės prikeliamųjų, modelių bei atsargas krovinių per kryžminius. Plataforma pagalba mechanikams pažinti halucinacijas, promptų regresijas bei paviešinimų nepavyksčių kartojančius prieš pristatymą, o teikdama prodiūzų montorininkavimo galimybes, kad sekintų tikrų vartotojų interakcijas. Komandos gali centrozuoti duomenis, dalintis testo rezultatais ir iteruoti promptomis matomuosiu pagrindiniu pozuje tuo gale, nei iš bandymų, kad gali būti klaida. Šioje sistemoje siekiama pagaminti kokybiškus įrenginius LLM kvalifikacijos patikrą, nors pagrindinis mūsų veiklos taikinys yra developeriai, ML inžinieriai ir QA komandos, kurios tiekia struktūrius, metrikų pagrįstą apžvalgas, o ne neapibrėžtas žmogaus valdytas patikrinimai.
Kriterijų išskirstymas
- DeepEval vargu prieš vertinimo koeficientai
- Pramoninių testų užtikrimumas už ką ką
- Rag ir atkūrimo vertinimo koeficientas
- Žurnalų ir monitorinėmis priedais
- Duomenų ir testų tvarkykla
- Bendrasis konsultacinis vertinimo rezultatų tvarkykla
KeywordsAI
Unifikuota programistų platforma, skirta LLM taiklus sukurti, monitoruoti ir skalėti.
KeywordsAI yra tai, kuriame sukurtojai pagrindiniai platforma, sujungianti reikalingus darbų įrankius, kad paslaugos laikotarpiu galėtų pradėti pramoninį LLM programų versijas. Įrangą skirtą prieigos gateway, kad lengvai prieinami į kelias modelio tiekėjų šaltinis, kartu su integruotais atvaizdavimo, registravimo ir vertinimo funkcijomis, kad pagalbos komandoms prieiti, kaip tai jų programos veikia realiame pasaulyje. Šis platforma sukurti, kad sumažintų produktus, kurie naudoja LLM galimybes, operacinę apkrova. Programuotojai gali stebėti atsako trukmę ir išlaidas, įsirengti prielaidą, atlikti įvertinimus, valdyti prielaidų versijas be reikiamų atskirų įrankių. Tai padeda inžineriniams komandoms lengviau iteruoti AI funkcijas ir laikytis reliabiliškumo, kai naudojimo skalė didėja.
Kriterijų išskirstymas
- Vieninta LLM siena visų tiekėjų
- Išsekimo ir trunkamojo logavimo funkcijos
- Skaitymo ir laiko režimo monitoringas
- Įvairių prielaidų eksperimentavimas ir versionavimas
- Pasikėlimo ir išbandymo srautai
- SDK ir API integravimas
Edwin AI
IT operacijų agentas, kuris pagero incidentų detekciją, triagavimą ir išsprendimą.
Edwin AI yra naujoji IT operacijų agentas konkuriruojančių agentų, kuris pagero incidentų detekciją, triagavimą ir išsprendimą. Jis teikia centrinę platformą IT komandoms, kad tyrinėtų incidentus, suprantų jų poveikį, ieško arba generavo sąmoningus sprendimus, ir taip jais apsikeičia per esančias priemones be reikmės keisti sistemas. Edwin AI korreliuoja signalai, identifikuoja šaknines priežastingumo priežastis, ir automatizuojasi išliekimas nuo pirmo signalo iki pat įrodytasio išsprendimo. Jis naudoja istorinius modelius ir atvaizduojantiesį duomenų apžvalgą, kurį pasiekia prognostikavimą ir išvengiamą atsilpusį. Prieinama virš 3 000 priemonių, per observability, APM, saugumą ir CMDB, taip pat galiausiai galima suteikti tiesioginius, veiksmingus apžvalgų ir užkarpštuoti siluos. Forrester tyrimas išrūuoja, kad Edwin AI išvengė 313% pelno atgavimo suderinama organizacijai, su sąmoningu grąžų laiku net iki 6 mėnesių.
Kriterijų išskirstymas
- Signalų koreliacija ir šumų pramonė
- Naujų žodžių incidentų apžvalgų
- Naturaliojo kalbos incidentų sąžiningiems perdavimui
- Integravimas su ITSM ir atvaizduojančiuose platformų
- Automatinė triagavimo aplinkos darbovietė
- Priešistorinė saugoma žinios ir pramonė iš pastarųjų incidentų
Future AGI
Ši platforma pagerina AI tikslumo naudingas įrankis, kuris apima įvairiausių įvertinimo ir Optimizavimo sąsajas.
AGI ateitis - tai platforma, kuri padeda pagerinti AI sistemų tikslumą plėtoti įvairius vertinimo ir optimizavimo įrankius. Naudotojams leidžia kurti patįs paisyti agentus, užfiksuoti, ką nepasiekia, ir sužinoti kodą. Platforma siūlo daugybę funkcijų, įskaitant agentų vertinimą, optimizavimą ir simuliujamąsias pokalbus. Vartotojai gali kurstyti ir valdyti scenarius, o platforma teikia analizų ir optimizavimo įrankius, kad pagerintų agento našumą. Priešsroviška AGI, be abejo, ruošia programintojams ir bendrovėms siekiant pritaikyti ir gindami komunikacinio roboto, kuriam prieaišo AGI. Naudojantis sistema leidžia vartotojams simuliavus pokalbius, vertinti ir optimizuoti agento atliekams uždėlius ir integruotis su žinių bazėmis. Platforma atrodo būti skirta programintojams, kurie nori sukurti ir atspalvinti AGI agentus, o ne klientų veiksnį. Platformas suteikia funkcijas kaip agento vertinimą, simuliujamus pokalbius bei scenarijų valdymą. Jis leidžia vartotojams redaguoti bei valdyti užklausas, pridėti atgavitimo žingsnius žinyne straipsniui bei integravimą su globaliais užklausomis siekiant išvengti mažiau kompleksių situacijų. Kai Future AGI siūlo naudingas funkcijas aiškinimui ir optimizacijai bei inteligentinių sistemų kūrimui, ji taip pat turi ribojudamas aspektus. Pavyzdžiui, ji visada remiasi bendriuoju žinoviu ir gali reikėti papildomų procedūrų komplikusioms scenarijams. Taip pat, platforma priklauso nuo simuliatorių konversacijos, nors tai gali riboti jos galimybę atsakyti tiesiogiai už realių pasaulio nenumatytumų. Future AGI atrodo pasižymįją sąnašą žemės sąrašo ir optimalizavimo priemonių privalumus, skirtu jų AI programavimo ir optimizavimo siekėms. Jų kompleksų vertinimų ir optimalizavimo priemonės padeda jų kūrėjams apribojus ir ištoždyti naujas AI agentūras. Tačiau jos galėtų reikėti papildomų programuojimo arba integravimo darbų, kad atrodytų galėti išštremti daug komplaesnius scenarijus ir tiesioginai realybės netiesumus.
Kriterijų išskirstymas
- Agento įvertinimas ir rikiavimas.
- Simuliuviai pokalbiai ir scenarijų valdymas.
- Žinotų bazės integravimas ir atsiskaitymas.
- Globalūs priedų valdymas už kompleksius situacijas.
- Analitika ir Optimizavimo įrankiai.
Inspeq AI
Įmoninė platforma užtikrinti atsakingą AI įsigaliojimą generatyvine AI priskyrimų srityje.
Inspeq AI pagalba organizacijų peržiurreti atsakomybę už AI technologiją nuo dokų į kasdienę inžinerinę praktyką. Platforma teikia įrangos priemones vertinti, stebėti ir vykdyti generatyvios AI aplikacijas per visą jų gyvenimą, dėl matuojamų kokybės, saugumo ir atitikimo rodiklių. Komandos gali automatizuoti LLM išvesties patikimumo apžvalgas, stebėti problemas kaip halukinacijas, pamėtimą, toksikumą bei užkrudu išvesties rizikas, ir integruoti kontrolės į vystymo ir produkcijos plokšteles. Atstovavimo lentelės ir ataskaitų funkcijos yra paruoštos įteisinti technologinėms komandoms, pavojų valdymo atstoviams bei ūkininkams bendrą modelio elgsenos vaizdą. Ši technologia įrengta tiesiogiai skirta didžiąms įmonėms, kurios kūrina klientų veiklai orientuotas ar reguliuojamų GenAI produktus, kurie poreikio visam laikam kontroliuoti ir audituoti.
Kriterijų išskirstymas
- Automatizuotus LLM išvedimų įvertinimus
- Diskriminiacijos, toksicitietaus bei haluciniacijų rodikliai
- Žingsnių ir atsakymų stebėjimas
- Gubernijos ir reglamentų ataskaitų teikimas
- Sąsajų ir API integravimas
- Lentynos techniniame ir rizikos skyriuose
Maxim AI
Visiškas platformoje, skirta įvertinti, stebėti ir pagerinti automatinių agentų sistemą
Maxim AI yra toliau virstančiųjų platforma, kuri padeda komandoms sukeisti patikimus AI agentus ir LLM taikinius. Ji sujungia prašomųjų inžineriją, įvertinimą, matomumą ir duomenų bazų valdymo tikslus, kad komandos galėtų greitai iteruoti, o kvalitetas būtų matuojamas. Platforma pristato automatinių ir žmogaus įvertinimų funkcijas daugelio modelių ir užklausų sąrankoje, leidžiant inžineriams palyginti rezultatus, aptikti regresijas ir rodyti nepakeltumas produkcijoje. Ji yra sukurta sąmoningos sąsajos tarp skirtingų funkcijų, su darbuotojų srautu, kuris leidžia ir techninio, ir ne technologinio lygio vertintojams dalyvauti testavimo ir peržiūros procesuose. Maxim dažniai naudojamas komandomis, kuriuos rūšiuoja žaidžiamųjų botalių, kopilotų, priimamųjų balsų agentų bei keičiamojo įsivaizdavimo įvedimo aplinkybėse veikiančių veiksmų sėlės, kurie reikalauja sutarvio kokybės keičiančių įsivaizdavimų, modelių ir vartotojų įvedimo sąlygomis.
Kriterijų išskirstymas
- Prompt playground ir versijavimas
- Automatizėti agentų ir LLM įvertinimai
- Produkcijos stebėjimas ir prielaidų iškeltuvai
- Duomenų bazės sudarymas ir valdymas
- Žmogaus peržiūros ir markavimo darbų srautai
- Daugmčių ir daugteikių palaikymas
Temperstack
Pagaminta naudojantis Inteligentiosiomis tiksliai reliabilumo platforma, automatisuojanti monitoravimą, pranešimus ir incidentams vadovavimą visos pagamintos observabilumo stambukų atžvilgiu.
Temperstack yra reliabilumo paruošimo platforma, tai naudoja naudojimasis Inteligentiosiomis, kad vienijučia tikslintų monitoravimą, pranešimus ir incidentus vadovojimą, kurias grupės jau žino. Neturime užklojojimo savarankiška observabilumas, kad detektuotų nuopuolius kaupiamumas stambukų, siūlos svarbius signalus ir iškeišuoti kokios dalys yra tikslini. Platforma pagalbos SRE ir DevOps grupiems sumažinti pranešymų jėga, trukme atitrensi išsprūšti nuopuoliams ir išlaikyti konsistentžias reliabilumo standartus. Automatizuojant dažnai vykdomos užduotis kaip alertų konfigūravimas, vykdomoji runbūkų vykdymas ir nuopuolų analizavimas, Temperstack laisvina inžinerius visiems vertingesniam reliabilumo darbam.
Kriterijų išskirstymas
- Inteligentiosių priklausomybės alertų konfigūravimas
- Suvienodinėta incidentų valdymas tarp pagamintų stambiukų
- Automatinė monitoravimo auditas
- Runbūkų automatizavimas
- Nuopuolio ataskaitų ir analizavimo pranešimai
- Integravimas su pagaminta pagamintų stambiukų platformomis
Arize AI
Platforma, kurianti žinių analizės priemonės ir modelių įvertinimą LLM, pagalbos įgyvendina programuotojų, kuriantių AI, bei duomenų mokslininkų monitorinės sistemos naudojimą, problemų tyrinėjimą ir paramą, kad LLM įdiegtų sistemų bei duomenų tyrinėjimų performansas...
Arize AI yra LLM įvertinimo ir LLM observabiliteto platforma. Ji padeda programų automatizavimo specialistams bei duomenų mokslininkams stebėti, paaiškinti, bei pagerinti savo AI modelių kokybę. Platforma pateikia priemones, kurios padeda įsitiktinį problemų identifikavimą bei rekomendacijų, kurios padeda vartotojams užimti savo modelių tikslumą ir paplitimą. Arize AI yra projektuojama programa, kuriai reikia optimizuoti savo modelių veiksimą. Platformos galimybės įskaito stebėjimą ir paaiškinimą, leidžia vartotojams greitai identifikuoti ir susipažinti su problemomis. Arize AI taip pat pateikia funkcijas, dėl kurios veiksmingos modelio kokybę įvertina ir pagerina, leidžiant vartotojams kuo pagerinti savo modelius per laiko. Naudojantis Arize AI, vartotojai gali pasiekti, kad jų AI modeliai veikia taip, kad reikėtų, leidžiant pagerinti sprendimų priėmimo ir išvados. Platformos dėmesio svarstymas ir įvertinimas padeda ją užimti savo vieta tik prie kitų programų automatizavimo priemonių tarp kitų tikraisiai AI priemonių, veikiančių su didžiais kalbos modeliais bei kitais sudėtingaisiais AI sistemomis.
Kriterijų išskirstymas
- Sąrašo regavimo sistemas
- Tremtynimo ir klausimų nustatymo problemų identifikavimas
- Sugestija priesaikos problemų paaiškinimui
- Rūšies vertinimas
- LLM vertinimas ir optimizavimas
Weave
Įvairių pradinės kodės sąrankos konstruktorius, kuris leidžia įmonėms automatizuoti veiklą, integruodami daugius kietų kalbos modelius (LLM) ir sujungdamas signalus kaip tikrai tekstą.
W&B Weave yra Observability ir įvertinimo platforma, kurio pagalba galite sekinti ir pagerinti didelius žodžių modelio (LLM) taikalus. Weave teikia priemones, kurios leidžia nuorodų, metrikų rinkimo ir taikalo atsakų vertinimo, naudodami LLM sudėtį ir pritaikytus skaičiavimo modelius. Svarbiausios funkcijos yra nuorodų sesijų, LLM įvadeivių ir prietišų veiksmų sekimas, taip pat ir rankinių prietišų instrumentų pritaikymas naudotų agentų pritaikytiems modeliams. Platforma skubia sujungimas su populiarūsiais SDK bei harnessais, bei taip pat personalizuotais agentų matomumas. Weave teikia Python bei TypeScript bibliotekas instalacijai bei naudojimui platforma. Ji turi bazuoti Weights & Biases (W&B), reikia W&B paskyros bei API klaučio autentificacijai. Naudojotojai gali ištrinti ryšius su LLM, peržiūrėti įvesčius ir išvestis bei peržiūrėti agento metrikas Weave UI. Čia Weave paprastina automatizavimą ir LLM taikymų vertinimą, nors tai nepriimtinai nebūtinai nemokamųjų programių automatizuoto juodraščio statybos reikšme.
Kriterijų išskirstymas
- Agentų prižiūrimo ir metrikų rinkimo priemonė
- Personalizuotų agentų prižiūrėjimas
- Kietų kalbos modelių prižiūrimo ir įvertinimo priemonė
- OpenTelemetry spanų paramos
- Weaves ir W&B integracijos
- Python ir TypeScript bibliotekos