CovalPlatforma za simulaciju i evalvaciju za testiranje agenata glasa i čat za potrebne razredote.

Coval je platforma za testiranje i evaluaciju namijenjena timovima koji razvijaju konverzacije AI agente, kao i onima koji rade s glasnim i čitačkim modoziteta. Adresa se na redovitu problemi u razvoju agenata: tradicionalni jedinice testovi i ručno nadzoravanje ne mogu pratiti nije-determinističkom prirodi, multi-turn karaktera sustava agenata, što učinava teško poznati koji promjena poboljšava ili opada stvarni svijet ponašanje. Izvodnica temelji na temelju simulacije. Umjesto ovisnosti samo o statičnim test-kazalom, Coval generira simuliirane interakcije korisnika koje isprobavaju agenta u mnogim scenarijima i konversacijskim stazama. Ove simuliirane pokuse mogu zatim biti ocijenjeni u odnosu na definirane metrike i očekivani rezultati, omogućavajući timovima da meraju pouzdanost prije šala izmjena i da uhvatiti regresijske greške kako agenci i izazovi mijenjaju se. Koja se pozicionira kako bi se iskoristili i za glasovne, tako i za tekstualne agente, i to je posebno istaknuto zbog glasa koji uvodi dodatne slojeve - tekst iz govora, zaostavljenosti i obrt za vrijeme - koji utječu na kvalitetu agenta izvan samog jezičnog modela. Firma je primjetno uspoređivana s djelovanjem timova koje razvijaju autonomne vozne aparate, koji koriste velike simulacije za validaciju ponašanja prije uvođenja, upuštajući se u sličnu filozofiju provjeravanja AI agenata. U običajnom toku rada, tim spaja svog agenta, definiše scenarije i kriterije vrednovanja, pokreće simulacije i pregleda rezultate preko pokretanja kako bi pratili performanse tijekom vremena. Ovo pokriva uporabu u razvoju kao i nastavak praćenja i testiranja regresijskim procesom kao dio CI-stilnog procesa. Iako je ovo relativno mlađi proizvod u vrlo dinamičnoj kategoriji, najbolji način da se potvrdi detalje prema cijeni, integracijama i pojedinim metričkim postavkama je bez neposrednog kontaktiranja proizvršitelja. Poslovne ekipe bi trebale provjeriti kako dobro simulirane scenariji određenog ovog ALM-a odgovaraju njihovom vlastitom prometu u produkciji. Glavna diferencijacija ovog alata od standardnih ALM-evaluacijskih alata nalazi se u osredotočenosti na simulaciju više-korake multi-modalnog agenta umjesto pojedinačnog skoriranja zahtjeva prema jednoj pozivnice.