Mennyt taisto · 2023-12-27 UTC
Observability Yhteenotto — 27. joulukuuta 2023
Kategoriasta Observability. 30 merkkiä asetettu 8 taistelijan kesken. Fiddler AI otti kruunun.
Lopulliset sijoitukset
Kokoonpano
Taistelijat
Profiilit jokaisesta työkalusta, joka kilpaili tässä taistossa, järjestettynä lopullisen pistemääränsä mukaan.
Fiddler AI
AIObsidiivisuuden ja turvaa tarjoava laitteisto mallien ja LLM-sovellusten valvonnan, selittämisen ja hallinnon puolesta.
Fiddler AI on yritysten tasoinen sovellus, joka auttaa ryhmää ymmärtämään ja turvaamaan koneoppimismalleja ja generatiivista AI-sovelluskehitystä tuotannossa. Se tarjoaa näkyvyyttä mallien suorituskyvyn, data-driftin, stereotypian ja laadun ongelmien suhteen sekä tarjoaa turvatoimia risksille, kuten hallucinaatioiden, prompstin injektoinnin ja turvattomien tuotteiden riskille. Fiddler on suunniteltu ML-insinöörit, tiedeinsinöörit ja riski- ja säätelyn tiimien käytööksi. Se yhdistää selvityksellisyyttä, reaaliaikaisia seurantaa ja raiteita yhdeksi työtyöksi. Fiddler integroituu tavallisiin ML-prosessiputkiin ja pilvityötiloihin auttaen organisaatioita käyttämään vastuullista AI:ta laajakuvassa.
Kriteerien jakautuminen
- Mallien suorituskyky- ja vaihtumisen seuranta
- LLM- valehtelun ja turvallisuuskartoitus
- Prompt- syötteiden injektointi ja vankilan suojelu
- Mallien selittävyys ja synnytissyyden tutkimus
- Päättymisen ja oikeudenmukaisuuden arviointi
- Mallien tuotantotarkkailuun ja varoituksiin kuuluvat valikot ja ilmoitukset
FoundryAI on kehitysympaikka, joka keskittyy luomaan AI- agentteja jotka hoitavat todellisia liiketoimintakäytäntöjä. Tämä integroidaan agenteiden suunnitteluun, testaamiseen ja jatkuvaan kehittämiseen työkaluiksi, jotta ryhmät voi siirtyä prototyypistä tuotantokelpoiseen ilman eri järjestelmien kasaamista yhteen. Alusta korostaa arviointia antaen rakentajille keinoja mittaamiseen agentin suorituskykyä tarkoituksenmukaisiin tehtäviin ja kierreiden yhdistämistä ajan kuluessa. Tämä tekee siitä soveltuvan organisaatioille, jotka automatisoivat asiakaspalvelua, sisäisiä operaatioita tai toistuvaa tietoa, joissa luotettavuus on tärkeää. Foundry AI kohdistuu teknisten joukkueiden kohteeksi, jotka tarvitsevat enemmän hallitusta no-code rakentajien tarjoamasta kuin ovat halukkaita tekemään agentit kokonaan alusta alkaen puhtaasti käsin.
Kriteerien jakautuminen
- Agenttien rakennussyvyys
- Tarkasteluiden ja testausten toolsi
- Suorituskyky-ylläpitosäännöt
- Työvälitystuki suorituskyvylle
- Iteratiivisen parantamisperäisin
- Liiketoiminnan järjestelmiin integraatio
Quotient AI
Omaa aikaista tietojen valvontaa ja arviointiplatemma, jossa voidaan havaita hakemuksilla ja RAG:llä tapahtuvat AI-vaikeudet.
Quotient AI on observability- ja arviointipalvelu, joka on suunniteltu tiimille, jotka lähettävät AI:llä varustettuja ominaisuuksia. Se jatkuu lähettämässä tuottoa AI-järjestelmiä, mukaan lukien etsintä, hakemisonnettomautuneiden geneeroinnin ja autonomisia agentteja, -kohdistamaan hallusinaatioita, hakemisonnettomuuksia, ja muita laatua koskevia ongelmia ennen kuin ne kohtaavat ne loppukäyttäjän. Ohjelmistopalvelu yhdistää automaattisia arvioita reaaliaikaisin varoituksin, auttaen ohjelmistokehitys- ja ML-tiimien määrittämään juurisyynnit, kartoittamaan takaiskuita mallien tai pyynnönmuutosten välillä, ja turvaten suhteen kestävyyttä. Käyttämällä tietokoneoppimisen (AI) prosesseja, Quotient antaa kehittäjille näkemystä siitä, miten heidän sovelluksensa käyttäytyvät todellisessa kokeiluolosuhteissa, eikä vain luottaen kokeellisiin offline-benchmarkteihin.
Kriteerien jakautuminen
- Toiminnoissa tapahtuvan järjestelmän suorituskyvyn katsastus ja varoitus
- Hallusinaatioiden ja palautuksen virheiden havaitseminen
- Arviointitoimenpiteet RAG-potkuihin
- Agenttien käyttäytymisen seuranta ja diagnosointi
- Muunnelmananalyysi mallin ja pyyntömuutosten kohdalla
- Tuotantomuistiinpanot AI-sovelluksille
Portkey
Yhtenäinen ohjauskerros AI-sovellusten rakentamiseen, hallintaan ja valvontaan
Portkey on yhtenäinen ohjauskerros AI‑sovellusten rakentamiseen, hallintaan ja valvontaan. Se tarjoaa kattavan alustan AI‑tiimeille tuotantoon siirtymistä varten, sisältäen ominaisuuksia kuten AI Gateway, Observability, Guardrails, Governance ja Prompt Management. Alusta mahdollistaa käyttäjien käyttää yli 1 600 LLM:ää yhtenäisen API:n kautta, virtaviivaistaen mallien integrointiprosessia ja antaen tiimien keskittyä rakentamiseen eikä hallinnointiin. Portkey tarjoaa myös reaaliaikaisen observabilityn, jonka avulla käyttäjät voivat seurata LLM:n käyttäytymistä, havaita poikkeavuuksia varhaisessa vaiheessa ja hallita käyttöä proaktiivisesti. Lisäksi alusta tarjoaa välimuistitoimintoja, joiden on osoitettu säästävän käyttäjille tuhansia euroja vähentämällä turhia testejä. Portkey on suunniteltu AI‑tiimeille ja tukee laajaa valikoimaa LLM:itä, yli 3 000 GenAI‑tiimiä ja suuri määrä tokeneja käsitellään päivittäin.
Kriteerien jakautuminen
- AI-yhdyskäytävä monen tarjoajan reitityksellä
- Kehotehallinta ja versionointi
- Pyyntölogit, jäljitykset ja analytiikka
- Semanttinen välimuisti ja uudelleenyritykset
- Suojarakenteet syötteiden ja tulosteiden validointiin
- Käytön ja kustannusten seurantapaneelit
Helicone AI
Yhden neuvonnan määrän observabiliteettiplatvormi, jotta näkee, korjaat ja kehityt tuotantotietoja LLM ohjelmiasi.
Helicone AI on soveltajille tarkoitettu observabiliteetti-alusta, joka on suunniteltu erityisesti suurten kielioppien tukiavaimella toimiviin sovelluksiin. Se on suunniteltu ottamaan vastaan pyynnöt, vastaukset, kustannukset ja latency sekä eri palveluntarjoajilta, tarjoamalla ohjelmistokehityksessä käytävien tehtävien kokonaistarkastelun. Helicone tarjoaa loggaamisen lisäksi työkaluja kelpoisuuden arviointiin, useamman vaiheen agenttitoimintojen jäljentämiseen, arviointien ajamiseen ja käyttäjäkohtaisen käyttön seurantaan. Ryhmät voivat tunnistaa käsittelymenetelmien heikentyneisyyttä, hallita kuluja ja kehittää kysymyksiä tiedoilla eikä satunnaisesti. Se integroi suosituimpiin mallien toimittajiin ja rajojen kehyksiin kautta kevyen proxy:n tai asynkronisen loggauksen kautta, tehdäksemme siitä helppoa lisätä niitä tarvitaessa olemassa oleviin kokoneuvoihin ilman merkittäviä koodimuutoksia.
Kriteerien jakautuminen
- Pyyntö ja vastaus muistiinpanot
- Kustannus ja token käyttöseuranta
- Prompttivakioinnin ja versionsuoritus
- Agentti ja sessio seuranta
- Mukautetut arviointitunnukset ja ikkunat
- Käyttäjä- ja rajoituselementti analytikot
KeywordsAI
Yhdistetty kehittäjien alusta LLM-sovellusten luomiseen, seuraamiseen ja mittakaavaan
KeywordsAI on kehittäjäkeskeinen alusta, joka kokoaa yhteen tarvittavat työkalut tuotantovalmiiden LLM-sovellusten toimittamiseksi. Se tarjoaa yhdenmukaisen API-portaan useiden mallintojen tarjoajien käyttöön, sekä sisäänrakennetut havainnointi-, lokitus- ja arviointiominaisuudet, joilla tiimit voivat ymmärtää, miten heidän AI-ominaisuutensa toimivat oikeassa maailmassa. Alusta on suunniteltu vähentämään LLM-pohjaisten tuotteiden toiminnan ylläpitokustannuksia. Kehittäjät voivat seurata viivettä ja kustannuksia, debugata syötteitä, suorittaa arvioita ja hallita syöteversioita ilman erillisten työkalujen yhdistämistä. Tämä tekee siitä helpomman insinööritiimille kehittää tehokkaasti uusia AI-ominaisuuksia ja ylläpitää luotettavuutta käytön laajentuessa.
Kriteerien jakautuminen
- Yhdistetty LLM-portaali eri tarjoajien yli
- Pyyntöloki ja jäljitys
- Kustannus- ja viiveen seuranta
- Promptin kokeilu ja versiohallinta
- Arviointi- ja testausvirrat
- SDK:t ja API-integraatiot
Maxim AI on kehittäjille suunnattu kehitysympäristö, jonka avulla tiimit voivat lähettää luotettavia AI-agentteja ja LLM-sovelluksia. Se tuo yhteen palkkauksen suunnittelu, arviointi, näkyvyys ja tietokannan hallinta, jolloin tiimit voivat kehittyä nopeasti pidemmäksi aikaa säilyttäen laadun mitattavissa. Plattformi tukee automatisoituja ja ihmisten tekemiä arvioita useilla mallilla ja aloitteilla, jolloin insinöörit voivat vertailla tuloksia, havaita kääntyviä vihjeitä ja seurata epäonnistumisia tuotannossa. Se on suunniteltu monikansallisen yhteistyön mahdollistamiseksi, työvaiheilla voidaan myös tekniikan ja teknologian ulkopuoliset osapuolet osallistua testaukseen ja katsomiseen. Maxim on usein käytössä tiimien kanssa, jotka rakentavat dialogipuhelimen, kopilotin, äänikäyttöägen ja usean askeleen agenteita työskenteleville työryhmillä, jotka tarvitsevat vakautta suoriutumisessa muuttuviin kysymyksiin, malleihin ja käyttöjärjestelmien syötteisiin.
Kriteerien jakautuminen
- Kokeiluryhmä ja versioiden hallinta
- Automaattinen agentti- ja LLM-evaluaatio
- Tuotantotarkastelu ja jäljittäminen
- Tietokannan hoidollinen ja hallinnollinen käsittely
- Human-revisio- ja merkintätöiden työflökit
- Monimallinen ja monitoimintatuen tuet
Relari (YC W24)
Todennäköisyyksien testaus, arviointi sekä tietynäytteen generaatioalusta AI-agentitien parissa.
Relari on kehittäjille suunnattu alusta, joka pyrkii parantamaan AI-agenttien uskottavuutta systemaattisilla testaamislla ja arvioinnilla. Se auttaa ryhmiä lisiittämään synoteettisia tietolähdeviipereitä, ajaa automaatisia arvioituksia ja arvioi agentin suorituskykyä realistisissa tilanteissa ennen kuin agentti lähetetään tuotantoon. Relari on yhtiö, jonka taustaa on Y Combinator (W24). Sen tavoitteena ovat insinööriteemat, jotka kehittävät monimutkaisia LLM-sovelluksia ja monivaiheisia agentteja, joissa perinteinen testaus ei ole riittävä. Sen työkalut ovat tarkoitettu toistamaan ohjelmistokehittäjien tarkat käytännöt, ja sen ansiosta LLM-malleihin ja ei-deterministisiin järjestelmiin tulee yhä mittauksellisempaa mittaustoimia—kuten yksikkötestejä ja regressiotesttej—samalla kun saadaan käyttöön mittaamattomia mitta-asiakkaita. Sovellus tukee persoonallisia arviointijohtimia, kohdekäyttäytymisen simulatorointia sekä jatkuvaa valvontaa, mikä tekee siitä hyödyllistä sekä lähelle loppua kohdistuvien todennäköisyyksien ja laadun tarkastuksessa että on ajoitusjärjestelmien jatkuvaa laatuvarmenpidettä tukevassa käyttöönotossa.
Kriteerien jakautuminen
- Synthetinen datasetin generaatio
- Automatisoitu agenttien arviointiin liittyvä ketterät ketjut
- Skenaariokeskundet ja keskusteltavuuden simulointi
- Muokattavissa olevia arviointimetodeja
- Jälkikäteen testaus LLM-sovelluksille
- Suorituskykykokeet ja raportointi