Praeita kova · 2023-12-27 UTC
Observability Susirėmimas — 2023 m. gruodžio 27 d.
Iš Observability kategorijos. 30 įvertinimai pateikti tarp 8 kovotojų. Fiddler AI laimėjo vainiką.
Galutiniai rezultatai
Dalyviai
Kovotojai
Kiekvieno šioje kovoje dalyvavusio įrankio profiliai, surikiuoti pagal galutinį rezultatą.
Fiddler AI
Inteligentos sistemos stebėjimo bei saugumo platforma, skirta monitoringui, aiškinimui ir valdymui ML ir LLM taiklių gamyboje.
Fiddler AI yra verslo platforma, kuri padeda komandoms monitoruoti, analizuojuoti ir saugoti mašinų mokymos modelius bei generatyvųjį AI programavimą pramonėje. Jame gausi perspėjimas į modelio veiksmingumą, duodamosi svyravimą, diskriminaciją bei kokybės problemų, o taip pat ir priemonės apsaugoti prieš rizikas specifines LLMs, kaip vaizdavimas, priedmenų įjungimas bei pavojingas išvedimus. Šiam technologijų inžinerijos mokslininkui, data mokslininkai bei rizikų ir kontrolės komandomiems Fiddler jungia aiškinimą, realaus laiko monitorinį ir keliuos valdymą į vieną protokolą. Jis integracija su bendrųjų ML srautų ir cloudy aplinkų pagalba padeda organizacijoms užbaigti atsakingos AI praktikas skalyje.
Kriterijų išskirstymas
- Modelio performansių ir smuginimo stebėjimas
- LLM hallucinacijų ir saaugumu detekcija
- Prompt injection ir lankstybine apsauga
- Aiškinamasis AI ir pagrindinių priežasčių analitika
- Nuoširdumo ir sąžingumo vertinimai
- Dalyvavimo lentelių ir prispausdintų priekšaiškių sistemas gamybinėms AI sistemas
FoundryAI yra kuriamųjų projektų platforma, siekiant sukurti AI agentus, kurie tvarko realiuosius verslo darbus. Ji susieja agento dizainą, bandymų, bei užtikrinamą tolesnį patobulimą, kad komandos gali persislinkti nuo prototipo iki produkcijos neišsišakos, sujungus atskirus sistemas. Platforme skirsto žiniatinklio vertinimą, leidžiant kūrėjams matuoti agento performansą, išvystytą taikant nustatytas užduotis ir pagerindamas elgseną per laiką. Tai padeda jiems tinkamai tinkamą organizacijoms, automatiškai tvarkanti klientų aptarnavimo, internų operacijų, ar vėliavos žinių darbą, kur reliabiliškumas yra svarbus. FoundryAI siektasi inžinierių komandų, kurios reikalauja daugiau valdymo nei nors kode pradininkų siūlomi pasiūlymai, tačiau norėjo greitesnis iteracija nei tiek, kur agente pilnai iš naujo pradžioje yra statomi.
Kriterijų išskirstymas
- Agentų kūrimo aplinkos
- Evaluacija ir testavimo įrankiai
- Performances monitorė
- Suvokimui automatinis darbas
- Iteracijų ciklai
- Integracija su verslo sistemomis
Quotient AI
Įvykių laiko monitoravimas ir vertinimų platforma, siekiant surasti klaidas AI, RAG ir agentų srityje.
Quotient AI yra observability ir įvertinimo platforma sukurta komandoms, kurios siunčia AI-pažangas priedus. Ji visais laikais monitoruoja produkcijos AI sistemus – įskaitant ištekėjimą, gaivintojo generavimą (RAG) ir savarankiškus agentus – kad priešingai pagalvinais vartotojų atvykęs pasirodymą, išsiskiria halucinacijas, pagrindinio ištekėjimo klaidas ir kitas kokybės problematiką. Platforma jungia savo narės į automatinius įvertinimus su realiu laiku signalais, padėdama inžinerijos ir ML komandoms diagnozuoti šaltinius, klausį regressijas skirtinguose modelio ar užklausos pokyčiuose, bei išlaikyti patikimumą skalyje. Instrumentuojant AI srautų, Quotient priskiria programuotojams peržiūrą, kaip išeina jų programos realiame svetme, o ne tik remiantis nenaudojamų užklausų rodikliais.
Kriterijų išskirstymas
- Įvykiai laiko AI monitoravimas ir pranešimai
- Vaikų ir prigimtinio klaidų detekcija
- RAG takelių vertinimo priemsena
- Savaraikis agentų veiklos trukdymų ir diagnostinis priemsenas
- Priešėnų modelio ir prailides analizė
- Produkcijos observableitė AI programėms
Portkey
Vienybės įrenginys, sudarytantis kontroliuojantį AI taikymo planą, kuriantys, valdami ir monitoruojantys AI taikymus
Portkey yra vienybės įrenginys kontroliuojantis AI taikymų kūrimą, valdymą ir monitoringą. Jis teikia sausaini platformą AI komandom, kuri padeda joms eineti į produkciją. Portkey suteikia tokias galimybes kaip AI Gateway, Observability, Guardrails, Governance ir Prompt Management. Pirmame sluoksne yra galimybė užkirsti kelio 1600 LLM galimybę vienoje API sluoksnį, kurianti automatizuoti integravimo proceso, kad komandos galėtų užsiimti tik kūryba, ir ne valdymas. Portkey taip pat leidžia tiesioginę observabilitę, leidžianti vartotojams stebėti LLM elgseną, rasti anomaliąsias padėles ankstesniu laiku ir tvarkyti naudojimą protyvu. Priešinguoja, platforma suteikia galimybių atsarginiems duomenims, kuriuose jau paruoštai naudotojai taip ir turi tūkstančius kartų išsavigi. Portkey kūrimas skirtas AI komandomis ir apima plačią sąnašą LLM modelių, tuo metu jau kuriama kiekviena diena didesni 3000 GenAI komandomis bei milijardai tokenų.
Kriterijų išskirstymas
- AI Gateway su daugiafirmine roitingu
- Pramidavimo ir versijų tvarka
- Priežastingų protokolo, įrašų, tracių ir analitikos
- Semantiškas caching ir atkurimas
- Žiedų valdymas įvesties ir išvesties tikslumui
- Naudojimo bei žmogo panaudotos monetų valdomojo panelo
Helicone AI
Visiškai integruotas observabilumo platforma, skirta monitoruoti, pataisyti ir pagerinti produkcinio LLM aplikacijų veikimą.
Helicone AI yra kuratorių įrengimas su observability funkcionalumo, kuris yra sukuręs specialiai aplikacijas užpildo dideliu kalbos modelių, įskaitant taikinčius, atsakymus, kainas, ir prasmeines užtrukusius laikus kroz providerių, suteikiant inžineriniams komandoms bendrą vaizdą, kaip jų LLM funkcijos elgiasi produktacijos lygį. Visa ne tik registruojant, „Helicone" siūlo priemonės užtikrinimui, tiesiogiai nukreipti prieveikius, traktuoti keliojusių agentų sąsuvio aplenkimų, einant ekoje ir registruoti naudotojų lygio naudojimą. Komandos gali nustatyti regresijas, valdyti išlaidas ir iteruoti prielaidas tiesiagos data, o ne pasimanyti. Jis integravosi su populiariausiais modelių teikiotojais ir kladžiais per lengvą vandenieją arba asinkroninę logiką, padeda tiesiogiai pridėti prie esamų staklių be reikiamų kode changes.
Kriterijų išskirstymas
- Prašytojų ir atsakymų logavimas
- Išlaidų ir tokeno naudojimo įskaitos
- Prašymų valdymas ir versijos valdymas
- Agentų ir sesijų įrašinėjimas
- Individualizuotos įvertinimai ir valdikliai
- Vartotojų ir sąnaudų apribojimų analizė
KeywordsAI
Unifikuota programistų platforma, skirta LLM taiklus sukurti, monitoruoti ir skalėti.
KeywordsAI yra tai, kuriame sukurtojai pagrindiniai platforma, sujungianti reikalingus darbų įrankius, kad paslaugos laikotarpiu galėtų pradėti pramoninį LLM programų versijas. Įrangą skirtą prieigos gateway, kad lengvai prieinami į kelias modelio tiekėjų šaltinis, kartu su integruotais atvaizdavimo, registravimo ir vertinimo funkcijomis, kad pagalbos komandoms prieiti, kaip tai jų programos veikia realiame pasaulyje. Šis platforma sukurti, kad sumažintų produktus, kurie naudoja LLM galimybes, operacinę apkrova. Programuotojai gali stebėti atsako trukmę ir išlaidas, įsirengti prielaidą, atlikti įvertinimus, valdyti prielaidų versijas be reikiamų atskirų įrankių. Tai padeda inžineriniams komandoms lengviau iteruoti AI funkcijas ir laikytis reliabiliškumo, kai naudojimo skalė didėja.
Kriterijų išskirstymas
- Vieninta LLM siena visų tiekėjų
- Išsekimo ir trunkamojo logavimo funkcijos
- Skaitymo ir laiko režimo monitoringas
- Įvairių prielaidų eksperimentavimas ir versionavimas
- Pasikėlimo ir išbandymo srautai
- SDK ir API integravimas
Maxim AI
Visiškas platformoje, skirta įvertinti, stebėti ir pagerinti automatinių agentų sistemą
Maxim AI yra toliau virstančiųjų platforma, kuri padeda komandoms sukeisti patikimus AI agentus ir LLM taikinius. Ji sujungia prašomųjų inžineriją, įvertinimą, matomumą ir duomenų bazų valdymo tikslus, kad komandos galėtų greitai iteruoti, o kvalitetas būtų matuojamas. Platforma pristato automatinių ir žmogaus įvertinimų funkcijas daugelio modelių ir užklausų sąrankoje, leidžiant inžineriams palyginti rezultatus, aptikti regresijas ir rodyti nepakeltumas produkcijoje. Ji yra sukurta sąmoningos sąsajos tarp skirtingų funkcijų, su darbuotojų srautu, kuris leidžia ir techninio, ir ne technologinio lygio vertintojams dalyvauti testavimo ir peržiūros procesuose. Maxim dažniai naudojamas komandomis, kuriuos rūšiuoja žaidžiamųjų botalių, kopilotų, priimamųjų balsų agentų bei keičiamojo įsivaizdavimo įvedimo aplinkybėse veikiančių veiksmų sėlės, kurie reikalauja sutarvio kokybės keičiančių įsivaizdavimų, modelių ir vartotojų įvedimo sąlygomis.
Kriterijų išskirstymas
- Prompt playground ir versijavimas
- Automatizėti agentų ir LLM įvertinimai
- Produkcijos stebėjimas ir prielaidų iškeltuvai
- Duomenų bazės sudarymas ir valdymas
- Žmogaus peržiūros ir markavimo darbų srautai
- Daugmčių ir daugteikių palaikymas
Relari (YC W24)
Testavimas, įvertinimas ir sintetinio duomenų generavimas platforma už AI agentus.
Relari yra toliau tyrimų ir įvertinimų pagrindinės funkcijos turinčios developerio platforma, skirta pagerinti AI agentų ištikimumą. Komanda pagalbos gali sukurti sintetinius duomenis, automatizuotus įvertinimus ir tikrinti agentų atlikimą iš tikrųjų scenarijų bei priklausančius rezultatus prieš siūlymą į gamybą. Pagaminta Y Combinator (W24) parama, Relari siekia technologų mėgėjus, kurie įrengia kompleksius LLM taikiklius ir įvairaus lygio agentus kurie tradicinėje QA metuose yra nepakankamai patikrinti. Šio įrankio tikslas yra įtraukti į software-engineering rigorą - vienetinius testus, regresinius kontrolierius ir matomus matavimo rodiklius netiesioginiam AI sistemoms. Plataforma priimsi specializuoti evaluatoriai, scenarijų simuliacija ir tęstinė monitorė, kad ji būtu naudinga ne tik atitikimo priimimu, bet ir nuolatiniam pagaminių agentų kokybės tikrinimui.
Kriterijų išskirstymas
- Sintetiniai duomenų sąrašai generavimas
- Automatizuoti agentų įvertinimo srautai
- Skriptos ir pokalbių simuliacija
- Šildimų įvertinimo metrikai sąranka
- Reagraviniai testsai už LLM programėlių
- Atlikimų ir ataskaitų našumą matavimas