Mennyt taisto · 2024-01-11 UTC
Observability Yhteenotto — 11. tammikuuta 2024
Kategoriasta Observability. 40 merkkiä asetettu 10 taistelijan kesken. Quotient AI otti kruunun.
Lopulliset sijoitukset
Kokoonpano
Taistelijat
Profiilit jokaisesta työkalusta, joka kilpaili tässä taistossa, järjestettynä lopullisen pistemääränsä mukaan.
Quotient AI
Omaa aikaista tietojen valvontaa ja arviointiplatemma, jossa voidaan havaita hakemuksilla ja RAG:llä tapahtuvat AI-vaikeudet.
Quotient AI on observability- ja arviointipalvelu, joka on suunniteltu tiimille, jotka lähettävät AI:llä varustettuja ominaisuuksia. Se jatkuu lähettämässä tuottoa AI-järjestelmiä, mukaan lukien etsintä, hakemisonnettomautuneiden geneeroinnin ja autonomisia agentteja, -kohdistamaan hallusinaatioita, hakemisonnettomuuksia, ja muita laatua koskevia ongelmia ennen kuin ne kohtaavat ne loppukäyttäjän. Ohjelmistopalvelu yhdistää automaattisia arvioita reaaliaikaisin varoituksin, auttaen ohjelmistokehitys- ja ML-tiimien määrittämään juurisyynnit, kartoittamaan takaiskuita mallien tai pyynnönmuutosten välillä, ja turvaten suhteen kestävyyttä. Käyttämällä tietokoneoppimisen (AI) prosesseja, Quotient antaa kehittäjille näkemystä siitä, miten heidän sovelluksensa käyttäytyvät todellisessa kokeiluolosuhteissa, eikä vain luottaen kokeellisiin offline-benchmarkteihin.
Kriteerien jakautuminen
- Toiminnoissa tapahtuvan järjestelmän suorituskyvyn katsastus ja varoitus
- Hallusinaatioiden ja palautuksen virheiden havaitseminen
- Arviointitoimenpiteet RAG-potkuihin
- Agenttien käyttäytymisen seuranta ja diagnosointi
- Muunnelmananalyysi mallin ja pyyntömuutosten kohdalla
- Tuotantomuistiinpanot AI-sovelluksille
Weave
No-code AI -työnkulunrakennus, joka mahdollistaa yrityksille operaatioiden automatisoinnin useiden suurten kielimallien (LLM) integroinnilla ja kehotteiden saumattomalla yhdistämisellä.
W&B Weave on havaintokyky- ja arviointialusta, joka auttaa seuraamaan ja parantamaan suurta kielimallia (LLM) käyttämää sovellusta. Weave tarjoaa työkaluja jäljittämiseen, mittareiden keräämiseen ja sovelluksen vastauksien arviointiin LLM-tuomarien ja kustomoitujen pisteytysten avulla. Keskeiset ominaisuudet sisältävät seurantajäljien, LLM-kutsujen ja työkalukutsujen seuraamisen sekä omakustomoitujen agenttien manuaalisen instrumentoinnin. Alusta tukee integraatioita suosittujen SDK-iden ja harnessien sekä räätälöidyn agentin havainnoinnin kanssa. Weave tarjoaa Python- ja TypeScript-kirjastot alustan asentamiseen ja käyttöön. Se on isännöity Weights & Biases (W&B) -palvelussa, ja vaatii W&B-tilin ja API-avaimen todennusprosessiin. Käyttäjät voivat jäljittää LLM-pyynnöt, tarkastella syötteitä ja tuloksia sekä nähdä agenttien mittarit Weave UI:ssä. Vaikka Weave helpottaa LLM-sovellusten automaatiota ja arviointia, se ei ole nimensä mukainen no-code AI workflow builder.
Kriteerien jakautuminen
- Agentin jäljitys ja mittauskeräys
- Mukautettu agentin havaittavuus
- LLM:n jäljitys ja arviointi
- OpenTelemetry-skenen tuki
- Weights & Biases (W&B) -integraatiot
- Python- ja TypeScript-kirjastot
AgentOps on kehitysplatafi kehittäjille, jonka painopiste on AI-agenttien elinkaerassa. Palvelu tarjoaa seurantatoolit, joiden kautta voidaan seurata agenttien toimintaa ajonaikaisessa ajatuskuvassa. AgentOps tallentaa LLM-puhelinsoittoja, työkalukäyttöjä, kustannuksia ja virheitä, jolloin organisaatio voi ymmärtää agenttien käyttäytymistä monitasoisten, useaputkeisten työvaihetovereisistä työvaiheista luettuun kokonaisuuteen. AgentOps on yli näkyvyyden tarjoten sessioripustelua, suorituskykyanalytiikkia ja yhteyksiä kuten näiden tyypillisimpien agentirakenteiden kanssa, LangChain, CrewAI ja AutoGen. Tämä auttaa insinöörejä siirtymisestä prototyypin luonnin sijasta käyttöön ottoa, jossa ei tarvitse riippua arvailusta tai logejennostosta. Se on suunniteltu kehittelijöille ja ryhmille, jotka laittavat käyttäen agenttien ohjelmistoa ja tarvitsevat seuraamalla takaiskujen, kulujen hallinnasta sekä käyttämättä agenttejä ennen ja jälkeen asennuksen, todistaa, että niiden agentit käyttäytyvät oikein.
Kriteerien jakautuminen
- Agenttien kokemuksen tallennus- ja esitysreplay
- LLM-kutsut ja työkalujen käyttötapahtumat seuraaminen
- Kustannus- ja token-analytiikat
- Virheitä ja väärää funktiota havaitseminen
- Ohjelmistorajapinnat Framework SDKs Python ja JavaScript kielille
- Agenttiperformanssien valvontavirtualaitteet
Confident AI
LLM-arvioinnin alustalle rakennettu tarkistus- ja havaintoalusta aiheuttaa AI-sovellusten testauksen, valvontan ja parantamisen.
Confident AI on kehitys- ja havaitsevyöhykealusta ryhmille, jotka kehittävät suuriakin kielenmallien sovelluksia. Sen taustalla on avoimen lähdekoodisen DeepEval-rahastoliikennepaikan, joka tarjoaa kehyksen ajaa benchmarkejä, regressiotestejä sekä laatusihtymishallinnan kaikkia promppeja, malleja ja palautusreittien yhtenä työtilana. Ohjelmistopalvelu auttaa insinöörejä havaitsemaan harhalauseita, promptien tylsennyksiä sekä haisteluhäiriöitä lähettämättä näitä tuotteita markkinoille, samalla se tarjoaa tuotannonvalvontaominaisuuksia kartoittaakseen todelliset käyttäjäkohteet. Joukkoja voidaan keskittää tietokannat, jakaa testitulokset ja kehittää kutsuja takuuttomalla feedbackin varassa eikä arvailuissa. Se on suunniteltu ohjelmistokehittäjille, ML-insinööreille ja laadunvarmistusjoukoille, jotka haluavat mittareiden perässä toimivan, strukturoituneen lähestyksensä kevytkieli-LM- laadunvarmistukseen sijaan epätarkoituksellisesti manuaalisen tarkistuksen sijaan.
Kriteerien jakautuminen
- Tietoarvo-pyritys DeepEval -arviointimitojen tuella
- Pulmatestaus kohteenaan prompseja ja malliopasteita
- RAG- ja käsittelyarviointi
- Tuotantovalvontaan liittyvä seuranta
- Datan ja kohdejärjestelmän hallinta
- Tiedostojen ja tulosyksiköiden yhteistyön parissa arviointituloksien osalta
Fiddler AI
AIObsidiivisuuden ja turvaa tarjoava laitteisto mallien ja LLM-sovellusten valvonnan, selittämisen ja hallinnon puolesta.
Fiddler AI on yritysten tasoinen sovellus, joka auttaa ryhmää ymmärtämään ja turvaamaan koneoppimismalleja ja generatiivista AI-sovelluskehitystä tuotannossa. Se tarjoaa näkyvyyttä mallien suorituskyvyn, data-driftin, stereotypian ja laadun ongelmien suhteen sekä tarjoaa turvatoimia risksille, kuten hallucinaatioiden, prompstin injektoinnin ja turvattomien tuotteiden riskille. Fiddler on suunniteltu ML-insinöörit, tiedeinsinöörit ja riski- ja säätelyn tiimien käytööksi. Se yhdistää selvityksellisyyttä, reaaliaikaisia seurantaa ja raiteita yhdeksi työtyöksi. Fiddler integroituu tavallisiin ML-prosessiputkiin ja pilvityötiloihin auttaen organisaatioita käyttämään vastuullista AI:ta laajakuvassa.
Kriteerien jakautuminen
- Mallien suorituskyky- ja vaihtumisen seuranta
- LLM- valehtelun ja turvallisuuskartoitus
- Prompt- syötteiden injektointi ja vankilan suojelu
- Mallien selittävyys ja synnytissyyden tutkimus
- Päättymisen ja oikeudenmukaisuuden arviointi
- Mallien tuotantotarkkailuun ja varoituksiin kuuluvat valikot ja ilmoitukset
Portkey
Yhtenäinen ohjauskerros AI-sovellusten rakentamiseen, hallintaan ja valvontaan
Portkey on yhtenäinen ohjauskerros AI‑sovellusten rakentamiseen, hallintaan ja valvontaan. Se tarjoaa kattavan alustan AI‑tiimeille tuotantoon siirtymistä varten, sisältäen ominaisuuksia kuten AI Gateway, Observability, Guardrails, Governance ja Prompt Management. Alusta mahdollistaa käyttäjien käyttää yli 1 600 LLM:ää yhtenäisen API:n kautta, virtaviivaistaen mallien integrointiprosessia ja antaen tiimien keskittyä rakentamiseen eikä hallinnointiin. Portkey tarjoaa myös reaaliaikaisen observabilityn, jonka avulla käyttäjät voivat seurata LLM:n käyttäytymistä, havaita poikkeavuuksia varhaisessa vaiheessa ja hallita käyttöä proaktiivisesti. Lisäksi alusta tarjoaa välimuistitoimintoja, joiden on osoitettu säästävän käyttäjille tuhansia euroja vähentämällä turhia testejä. Portkey on suunniteltu AI‑tiimeille ja tukee laajaa valikoimaa LLM:itä, yli 3 000 GenAI‑tiimiä ja suuri määrä tokeneja käsitellään päivittäin.
Kriteerien jakautuminen
- AI-yhdyskäytävä monen tarjoajan reitityksellä
- Kehotehallinta ja versionointi
- Pyyntölogit, jäljitykset ja analytiikka
- Semanttinen välimuisti ja uudelleenyritykset
- Suojarakenteet syötteiden ja tulosteiden validointiin
- Käytön ja kustannusten seurantapaneelit
Relari (YC W24)
Todennäköisyyksien testaus, arviointi sekä tietynäytteen generaatioalusta AI-agentitien parissa.
Relari on kehittäjille suunnattu alusta, joka pyrkii parantamaan AI-agenttien uskottavuutta systemaattisilla testaamislla ja arvioinnilla. Se auttaa ryhmiä lisiittämään synoteettisia tietolähdeviipereitä, ajaa automaatisia arvioituksia ja arvioi agentin suorituskykyä realistisissa tilanteissa ennen kuin agentti lähetetään tuotantoon. Relari on yhtiö, jonka taustaa on Y Combinator (W24). Sen tavoitteena ovat insinööriteemat, jotka kehittävät monimutkaisia LLM-sovelluksia ja monivaiheisia agentteja, joissa perinteinen testaus ei ole riittävä. Sen työkalut ovat tarkoitettu toistamaan ohjelmistokehittäjien tarkat käytännöt, ja sen ansiosta LLM-malleihin ja ei-deterministisiin järjestelmiin tulee yhä mittauksellisempaa mittaustoimia—kuten yksikkötestejä ja regressiotesttej—samalla kun saadaan käyttöön mittaamattomia mitta-asiakkaita. Sovellus tukee persoonallisia arviointijohtimia, kohdekäyttäytymisen simulatorointia sekä jatkuvaa valvontaa, mikä tekee siitä hyödyllistä sekä lähelle loppua kohdistuvien todennäköisyyksien ja laadun tarkastuksessa että on ajoitusjärjestelmien jatkuvaa laatuvarmenpidettä tukevassa käyttöönotossa.
Kriteerien jakautuminen
- Synthetinen datasetin generaatio
- Automatisoitu agenttien arviointiin liittyvä ketterät ketjut
- Skenaariokeskundet ja keskusteltavuuden simulointi
- Muokattavissa olevia arviointimetodeja
- Jälkikäteen testaus LLM-sovelluksille
- Suorituskykykokeet ja raportointi
Arize AI
Tutkimusaijien observability- ja LLM-tutkimusmuodin alustat, joissa autetaan AI-ohjelmistokehittäjiä ja datatieteilijöitä havaitsee, korjaavat ja parantavat suorituskykyä...
Arize AI on AI:n tulvaraportointi- ja LLM:n arviointipalvelu. Se auttaa AI:ää kehittäjiä ja tilastotieteilijöitä seuraamaan, ongelmien etsimisessä ja korjauksessa sekä parantaessa tietokoneenoppimismallien käytettävyyttä. Palvelun tarjotessa ratkaisuvinkkejä ja niistä käytettävän mallien tarkasti, käyttäjät parantavat tietokoneenoppimismalleja luotettavuutta heikentävien virheitän todennäköisyyttä. Arize AI on suunniteltu tietokoneenoppimisen kehittäjien ja tilastotieteilijöiden tarpeita vastaavan tietokonenoppimismallien suorituskykyyn. Palvelun sisällön kautta saatetaan seurata ja korjata ongelmia. Arize AI tarjoaa myös ominaisuuksia tietokonenoppimismallien suorituskyvyn arvioimiseksi ja parantamiseksi, mikä mahdollistaa käyttäjien mallien parantamisen ajan mukaisesti. Käyttämällä Arize AI:ää, käyttäjät voivat varmistaa siihen liittyvän tietokoneenoppimismallien olevan toiminta-ominaisuuksien suurimman mahdollisen mallin tasolla, mikä johtaa parempaan päätöksenteon toteutukseen ja tuloksiin. Palvelun painopiste tulvaraportoinnissa ja arviointiin antaa sen yksilöllistä puolta, mikä tekee Arize AI:stä arvokkaan resurssin niille työskenteleville, joilla on käytössään suuria suoria kieltämisen tarkoituksessa LLM-sukupolvesta.
Kriteerien jakautuminen
- Mallinennettä seuraaminen
- Ohjelmistovika- ja ongelman tunnistaminen
- Ehdotettujen korjausten luominen
- Mallin Kuntoarvion antaminen
- LLM-arvonnan arvioinnin ja optimoinnin tuki
Edwin AI
Tietotekniikkayhteyksien automaattinen agentti, joka nopeuttaa tapahtumien havaitsemisen, luokittelun ja ratkaisun.
Edwin AI on AI-kenraali IT-palvelujen toiminnalle suunniteltu, joka nopeuttaa tapahtumien havaitsemista, luokittelua ja ratkaisua. Se tarjoaa keskitetyn tasohyryksen IT-ryhmiin tapahtumaan tutkimiseksi, sen vaikutuksen ymmärtämiseksi, ratkaisujen löytämiseksi tai luomiseksi sekä niiden soveltamiseksi jo olemassa oleviin työkaluihin ilman vaihtamista. Edwin AI yhdistää ilmoituksia, tunnistaa juurikortit ja aloittaa automaattisen oikosulun ensimmäisen ilmoituksen kautta todettuun loppumiseen asti. Sen avulla voidaan pelkistää tulevia rahoitusvaikeuksia ja ennustaa ja ehkäistä laskennallisia ongelmatilanteita. Edwin AI integroidaan yli 3 000 työkalua valvontatekojen, APM, turvallisuuden ja CMDB-alueiden rajojen yli, mahdollistaen reaaliajassa toimivia päätöksenteon pohjaksi olevia tietoja ja estää silon muodostumisen. Forrester-yhtiön tutkimus löysi, että Edwin AI:llä oli 313 prosentin tuottavuuden kasvu yhteiskunnan yksikössä suhteessa investoituun rahoitukseen, joka antoi voiton palautuneen kuukaudessa tai sitä vähemmän.
Kriteerien jakautuminen
- Sähköisen tiedon yhdistäminen ja vihjeiden vähentäminen
- AI-yhdistämien aiheudenmukaisten syiden suositukset
- Luonnollinen kieli tapahtumien yhteenveto
- Integraatioita ITSM- ja havaintoalustoille
- Automatisoitu luokittelurutiinit
- Aikaisempien tapahtumien koulutus tietämys
FoundryAI on kehitysympaikka, joka keskittyy luomaan AI- agentteja jotka hoitavat todellisia liiketoimintakäytäntöjä. Tämä integroidaan agenteiden suunnitteluun, testaamiseen ja jatkuvaan kehittämiseen työkaluiksi, jotta ryhmät voi siirtyä prototyypistä tuotantokelpoiseen ilman eri järjestelmien kasaamista yhteen. Alusta korostaa arviointia antaen rakentajille keinoja mittaamiseen agentin suorituskykyä tarkoituksenmukaisiin tehtäviin ja kierreiden yhdistämistä ajan kuluessa. Tämä tekee siitä soveltuvan organisaatioille, jotka automatisoivat asiakaspalvelua, sisäisiä operaatioita tai toistuvaa tietoa, joissa luotettavuus on tärkeää. Foundry AI kohdistuu teknisten joukkueiden kohteeksi, jotka tarvitsevat enemmän hallitusta no-code rakentajien tarjoamasta kuin ovat halukkaita tekemään agentit kokonaan alusta alkaen puhtaasti käsin.
Kriteerien jakautuminen
- Agenttien rakennussyvyys
- Tarkasteluiden ja testausten toolsi
- Suorituskyky-ylläpitosäännöt
- Työvälitystuki suorituskyvylle
- Iteratiivisen parantamisperäisin
- Liiketoiminnan järjestelmiin integraatio