Mennyt taisto · 2026-07-24 UTC
Observability Yhteenotto — 24. heinäkuuta 2026
Kategoriasta Observability. 21 merkkiä asetettu 9 taistelijan kesken. Coval (YC S24) otti kruunun.
Lopulliset sijoitukset
Kokoonpano
Taistelijat
Profiilit jokaisesta työkalusta, joka kilpaili tässä taistossa, järjestettynä lopullisen pistemääränsä mukaan.
Coval (YC S24)
Alueidän simulointi- ja arviointiratkaisu testaamista ai-puhe- ja chat-aloitteiden skaalalla.
Coval on kehittäjien palvelu, joka on rakennettu simuloimaan, testaamaan ja arvioimaan AI-agentteja ennen niitä tuottavien ympäristöjen saapumista. Se sallii joukkoihin ajaa tuhansia syntetisiä keskusteluja ääni- tai keskusteluoletuksia vastaan, ja mitataan, miten ne hoitavat reunapäällysteet, keskeytymiset, palvelukutsut ja moni- käskykeskustelut. Yhteys Y Combinatorin (S24) myöntämään rahoitukseen, Coval korostaa itsenäisyyttään automaattisten ajokalustojen tapaan agenttien vakauttamisessa, hyödyntäen kiiteliäistä simulaatiotestejä konversaationaaliseen AI:hon. Teknologit voivat määritellä skenaarioita, pelata tuotantoliikenteen uudelleen, arvioida tuotteita kustomoiduilla mitta-asteikolla, ja seurata regressiota agenttimuodoissa. Pohjimmaltan kohderyhmänä ovat tiimit, jotka laittavat käyttäjien eteen osoittautuvia agentteja tukitoiminnan, myynnin ja operatiivisen osaston palveen, missä laatu ja säännöllisyys ovat kriittisiä jakelussa.
Kriteerien jakautuminen
- Suurenläjittelty keskustelu- ja arviointisimulaatio
- Väljittömään dialogiin perustuva ääni-algoritmisten testeissä,
- Mukautuva arviointimittari ja pistelaskenta
- Äläpitävyys tarkistaminen algoritmeissa versioita vastaan
- Skenaariumi- ja reuna-tilasimulaatiot
- Tuotantomittavyyttä vastaava simulointi
Fiddler AI
AIObsidiivisuuden ja turvaa tarjoava laitteisto mallien ja LLM-sovellusten valvonnan, selittämisen ja hallinnon puolesta.
Fiddler AI on yritysten tasoinen sovellus, joka auttaa ryhmää ymmärtämään ja turvaamaan koneoppimismalleja ja generatiivista AI-sovelluskehitystä tuotannossa. Se tarjoaa näkyvyyttä mallien suorituskyvyn, data-driftin, stereotypian ja laadun ongelmien suhteen sekä tarjoaa turvatoimia risksille, kuten hallucinaatioiden, prompstin injektoinnin ja turvattomien tuotteiden riskille. Fiddler on suunniteltu ML-insinöörit, tiedeinsinöörit ja riski- ja säätelyn tiimien käytööksi. Se yhdistää selvityksellisyyttä, reaaliaikaisia seurantaa ja raiteita yhdeksi työtyöksi. Fiddler integroituu tavallisiin ML-prosessiputkiin ja pilvityötiloihin auttaen organisaatioita käyttämään vastuullista AI:ta laajakuvassa.
Kriteerien jakautuminen
- Mallien suorituskyky- ja vaihtumisen seuranta
- LLM- valehtelun ja turvallisuuskartoitus
- Prompt- syötteiden injektointi ja vankilan suojelu
- Mallien selittävyys ja synnytissyyden tutkimus
- Päättymisen ja oikeudenmukaisuuden arviointi
- Mallien tuotantotarkkailuun ja varoituksiin kuuluvat valikot ja ilmoitukset
Future AGI
Ohjelma parantaa AI-tarkkuutta tarkasta evaluoinnista ja kokonaisuuden optimointitoimenpiteistä.
Future AGI on alusta, joka parantaa AI-tiedon precisiota laajalla arvioinnin ja optimointiin liittyvällä toiminalla. Se sallii käyttäjiin rakentaa itseparantavia agentteja, havaita mikä epäonnistuu ja tiedättekää miksi. Alusta tarjoaa valikoitua toimintoja, kuten agentin arviointia, optimointia ja simuloituja keskusteluja. Käyttäjät voivat luoda ja hallita skenaarioita, ja alusta tarjoaa analytiikkaa ja optimointitoimintoja agentin suorituskyvyn parantamiseksi. Future AGI näkee olevan suunniteltu kehittäjiä ja liikeyrityksiä varten, jotka haluavat lähettää AI-voittoisia chatti-robottia ja agentteja. Se antaa käyttäjälle mahdollisuuden simuloituun keskusteluun, agentin suorituskyvyn arviointiin ja parantamiseen sekä tietokantajärjestelmien integroidun kanssa. Alustan näyttää siltä, että se on kehittäjille työkalu kehittää ja kehittää AI-agentteja, eikä asiakaspäällinen käyttöliittymä. Plattforma tarjoaa omia ominaisuuksia, kuten agenttien arviointi, simuloituja keskusteluja ja skenaarioiden hallinta. Se mahdollistaa käyttäjien muokkaamisen ja hallinnan pyyntöjen, lisäämisen tiedoteaskeleita tietokantasarjojen käyttämiselle tiedolla sekä yhdistämisen globaaliseen pyyntöön monimutkisten tilanteiden käsittelyyn. Vaikka Future AGI tarjoaa arvokkaita ominaisuuksia AI-kehitykselle ja optimoinnille, se myös sisältää rajoituksia. Esimerkiksi se perustuu yleiseen tiedostoon ja sen tarvitsee lieneä erillisiä askeleita vaikeampien skenaarioien käsittelystä. Lisäksi laitteiston riippuvuus simulated käyttäytymisestä voi olla heikkoa kykyä käsittää todellisuuden epävarmuuksia. Tulevaisuuden AGI tarjoaa näppärän joukon ominaisuuksia AI-kehitykseksi ja optimointiin. Monipuoliset arviointi- ja optimointitoiminnot tekevät siitä arvokasta resurssin kehittelijöille, joiden tavoitteena on kehittää ja parantaa AI-agenttejaan. Kuitenkin se voi vaatia lisää kehitystyötä tai integroitumista, jotta se on selvinnyt monimutkaisemmista skenaarioista ja todellisen maailman epävarmuuksista.
Kriteerien jakautuminen
- Agenttejen arviointi ja luokittelu
- Simuloitujen keskustelujen ja tilanteiden hallinta
- Osaamistietokannan integraatio ja haku
- Maailmanlaajuinen ehdotusmecanismi monimutkaisten tilanteiden soveltamiseksi
- Tilastot ja optimointitoimet
AI2AI-projektilta käyttäjien voi tarkastella tarkasta aikaa kahden AI-agentin välisiä keskusteluja. Aloittamaan interaktsiomaisen, käyttäjien täytyy luoda kaksi yksilöä, määritellä näille pääsykysymys, konteksti, ääni ja sukupuoli, sekä valita kielioppi. Keskustelusta on mahdollista aloittaa, tallentaa ja jakaa muille käyttäjille sivustolla. Erikoista käyttäjille tarjotaan esimerkikkiskeskusteluja, esittelemässä erilaisia skenaarioita kuten houkuttelu, vihainen, kyllästynyt, kiinnostunut sekä myyntipuheita. Uusille käyttäjille tarjotaan ilmainen ilmoittautumispalvelu, jossa saat 1 dollaria luottokorttiin tutustua palveluun. Laskutus perustuu yhteen minuutin maksamiseen, joka lähtee 1 sentistä minuuttia kohti.
Kriteerien jakautuminen
- Reaalajaistä AI-työhön katsomiskokemus
- Kaksi erikoista AI-yksilöä keskustellessaan
- Tarkkailtu, käytön käsittämätön käyttäjäkokemus
- Emergentejen AI-käyttäjäkäyttäytyminen esille tuo
- Käytettävissä selaimessa tukea vastava
- sivun peruste
Arize AI
Tutkimusaijien observability- ja LLM-tutkimusmuodin alustat, joissa autetaan AI-ohjelmistokehittäjiä ja datatieteilijöitä havaitsee, korjaavat ja parantavat suorituskykyä...
Arize AI on AI:n tulvaraportointi- ja LLM:n arviointipalvelu. Se auttaa AI:ää kehittäjiä ja tilastotieteilijöitä seuraamaan, ongelmien etsimisessä ja korjauksessa sekä parantaessa tietokoneenoppimismallien käytettävyyttä. Palvelun tarjotessa ratkaisuvinkkejä ja niistä käytettävän mallien tarkasti, käyttäjät parantavat tietokoneenoppimismalleja luotettavuutta heikentävien virheitän todennäköisyyttä. Arize AI on suunniteltu tietokoneenoppimisen kehittäjien ja tilastotieteilijöiden tarpeita vastaavan tietokonenoppimismallien suorituskykyyn. Palvelun sisällön kautta saatetaan seurata ja korjata ongelmia. Arize AI tarjoaa myös ominaisuuksia tietokonenoppimismallien suorituskyvyn arvioimiseksi ja parantamiseksi, mikä mahdollistaa käyttäjien mallien parantamisen ajan mukaisesti. Käyttämällä Arize AI:ää, käyttäjät voivat varmistaa siihen liittyvän tietokoneenoppimismallien olevan toiminta-ominaisuuksien suurimman mahdollisen mallin tasolla, mikä johtaa parempaan päätöksenteon toteutukseen ja tuloksiin. Palvelun painopiste tulvaraportoinnissa ja arviointiin antaa sen yksilöllistä puolta, mikä tekee Arize AI:stä arvokkaan resurssin niille työskenteleville, joilla on käytössään suuria suoria kieltämisen tarkoituksessa LLM-sukupolvesta.
Kriteerien jakautuminen
- Mallinennettä seuraaminen
- Ohjelmistovika- ja ongelman tunnistaminen
- Ehdotettujen korjausten luominen
- Mallin Kuntoarvion antaminen
- LLM-arvonnan arvioinnin ja optimoinnin tuki
Edwin AI
Tietotekniikkayhteyksien automaattinen agentti, joka nopeuttaa tapahtumien havaitsemisen, luokittelun ja ratkaisun.
Edwin AI on AI-kenraali IT-palvelujen toiminnalle suunniteltu, joka nopeuttaa tapahtumien havaitsemista, luokittelua ja ratkaisua. Se tarjoaa keskitetyn tasohyryksen IT-ryhmiin tapahtumaan tutkimiseksi, sen vaikutuksen ymmärtämiseksi, ratkaisujen löytämiseksi tai luomiseksi sekä niiden soveltamiseksi jo olemassa oleviin työkaluihin ilman vaihtamista. Edwin AI yhdistää ilmoituksia, tunnistaa juurikortit ja aloittaa automaattisen oikosulun ensimmäisen ilmoituksen kautta todettuun loppumiseen asti. Sen avulla voidaan pelkistää tulevia rahoitusvaikeuksia ja ennustaa ja ehkäistä laskennallisia ongelmatilanteita. Edwin AI integroidaan yli 3 000 työkalua valvontatekojen, APM, turvallisuuden ja CMDB-alueiden rajojen yli, mahdollistaen reaaliajassa toimivia päätöksenteon pohjaksi olevia tietoja ja estää silon muodostumisen. Forrester-yhtiön tutkimus löysi, että Edwin AI:llä oli 313 prosentin tuottavuuden kasvu yhteiskunnan yksikössä suhteessa investoituun rahoitukseen, joka antoi voiton palautuneen kuukaudessa tai sitä vähemmän.
Kriteerien jakautuminen
- Sähköisen tiedon yhdistäminen ja vihjeiden vähentäminen
- AI-yhdistämien aiheudenmukaisten syiden suositukset
- Luonnollinen kieli tapahtumien yhteenveto
- Integraatioita ITSM- ja havaintoalustoille
- Automatisoitu luokittelurutiinit
- Aikaisempien tapahtumien koulutus tietämys
FoundryAI on kehitysympaikka, joka keskittyy luomaan AI- agentteja jotka hoitavat todellisia liiketoimintakäytäntöjä. Tämä integroidaan agenteiden suunnitteluun, testaamiseen ja jatkuvaan kehittämiseen työkaluiksi, jotta ryhmät voi siirtyä prototyypistä tuotantokelpoiseen ilman eri järjestelmien kasaamista yhteen. Alusta korostaa arviointia antaen rakentajille keinoja mittaamiseen agentin suorituskykyä tarkoituksenmukaisiin tehtäviin ja kierreiden yhdistämistä ajan kuluessa. Tämä tekee siitä soveltuvan organisaatioille, jotka automatisoivat asiakaspalvelua, sisäisiä operaatioita tai toistuvaa tietoa, joissa luotettavuus on tärkeää. Foundry AI kohdistuu teknisten joukkueiden kohteeksi, jotka tarvitsevat enemmän hallitusta no-code rakentajien tarjoamasta kuin ovat halukkaita tekemään agentit kokonaan alusta alkaen puhtaasti käsin.
Kriteerien jakautuminen
- Agenttien rakennussyvyys
- Tarkasteluiden ja testausten toolsi
- Suorituskyky-ylläpitosäännöt
- Työvälitystuki suorituskyvylle
- Iteratiivisen parantamisperäisin
- Liiketoiminnan järjestelmiin integraatio
Helicone AI
Yhden neuvonnan määrän observabiliteettiplatvormi, jotta näkee, korjaat ja kehityt tuotantotietoja LLM ohjelmiasi.
Helicone AI on soveltajille tarkoitettu observabiliteetti-alusta, joka on suunniteltu erityisesti suurten kielioppien tukiavaimella toimiviin sovelluksiin. Se on suunniteltu ottamaan vastaan pyynnöt, vastaukset, kustannukset ja latency sekä eri palveluntarjoajilta, tarjoamalla ohjelmistokehityksessä käytävien tehtävien kokonaistarkastelun. Helicone tarjoaa loggaamisen lisäksi työkaluja kelpoisuuden arviointiin, useamman vaiheen agenttitoimintojen jäljentämiseen, arviointien ajamiseen ja käyttäjäkohtaisen käyttön seurantaan. Ryhmät voivat tunnistaa käsittelymenetelmien heikentyneisyyttä, hallita kuluja ja kehittää kysymyksiä tiedoilla eikä satunnaisesti. Se integroi suosituimpiin mallien toimittajiin ja rajojen kehyksiin kautta kevyen proxy:n tai asynkronisen loggauksen kautta, tehdäksemme siitä helppoa lisätä niitä tarvitaessa olemassa oleviin kokoneuvoihin ilman merkittäviä koodimuutoksia.
Kriteerien jakautuminen
- Pyyntö ja vastaus muistiinpanot
- Kustannus ja token käyttöseuranta
- Prompttivakioinnin ja versionsuoritus
- Agentti ja sessio seuranta
- Mukautetut arviointitunnukset ja ikkunat
- Käyttäjä- ja rajoituselementti analytikot
llm scout
Seuraa, miten merkitseväsi esiin olet kaikissa ai-heikoissa palveluissa, kuten ChatGPT, Claude, Perplexity ja Google AI Overviews.
LLM-kirjanpitäjä on verkkokauppayrityskeskittymän työkalu, joka on suunniteltu generatiivisen hakukelpoisuuden aikakaudelle. Se seuraa, miten yritys, tuotteet ja kilpailijat on mainittu suurten tekoälyapuisten ja selkeän tekstimuotoisen hakukonetyökalujen mukaisesti, tarjoamalla mainostimien ja SEO-joukkonsa näkemystä kanavalta, jota perinteiset analytiikkaratkaisut eivät käy ilmi. Alusta suorittaa toistuvia kysymyksiä kuten ChatGPT, Claude, Perplexity ja Googlen AI Overviews -kytkimiin, ja raportoi äänitorvesta, tunteista, viittomääräihin sekä muutoksista ajan kanssa. Ryhmät voivat käyttää näitä havaintoja sisältöstrategian kohottamiseksi, vastaavien tiettyjen alueiden identifioimiseksi missä kilpailijat ehdotetaan, ja kokeilemaan, kuinka kääntyvät parantamisen toimenpiteet suurten kielioppien suhteen.
Kriteerien jakautuminen
- Merkeistä ja kilpailijamielipuoli seuraaminen
- Seuranta on ChatGPT, Claude, Perplexity, ja AI Overviews -palveluissa
- Sentimentin ja kilpailijoiden äänenosasanan analyysi
- Viittaus ja lähteen näkyvyys
- Mukautettu kysymysjonojen seuraaminen
- Historiallinen trendien raportointi