CovalSimuliacijų ir vertinimo platforma, skirta testuoti ir įvertinti AI balsinio ir žiūronio agentų, apie kelis kartus reikšminga

Coval yra įrangų ir įvertinimo platforma, skirta komandoms, kurių pagrindinis uždavinys - statyti pokalbių AI agentus, įskaitant tiek garsinį, tiek pokalbio modus. Ji sprendžia dažnai pasitaikančią problemą agentų kūrimo proceso metu: tradicinės vieno elemento testavimo priemonės ir manualūs pozityvi reiškiniai nėra gali įkvėpti neapibrėžtųjų, keliems posimams siejančių agentų sistemų savybių, todėl yra sunku nežinoti, ar pakeitimas pagerina ar iškeičia realaus pasaulyje elgesio. Šio platformos branduolio idėja yra simuliavimas. Niekuomet ne tikėdama ties vien tik stačiakabiškomis atvežimu testų atvežimais, Coval generuoja suartėjusias naudotojo interakcijas, vykiančias agento veikimą daugeliu scenarijų ir kalbų maršrutų. Šie simuliuijami veigiai vėliau gali būti įvertinti pagal nustatytų metrikų ir įžvalgu išlikimo sąlygas, leidžiant komandoms matytis įvertinimai prieš išsiuntimą keičiamų korekcijas ir sučiupti regresijas kai ir agentai bei priklausomybių sprendimai keičiasi. Coval yra pristatytas abiemoms balsinei ir teksto agentuiem, kas yra svarbu, kad balsas prisideda iš naujo – balsų perteikimas į tekstą, trukmės efektai, bei pasikeitimo perimavimo efektai – kuriuos taip pat prideda agento kokybės efektai už pagrindinio kalbos modelio. Kompanija priešpriešingo palyginimo įsigaliojusi tuo, kaip nepriklausomas autokuro komandos naudoja didelės skaičio simuliatorių siekiu patvirtinti elgesį, prieš pradėjus tiesiogine tvarkyme, taip pat taikia ta pati testavimo filosofija mašinai agentams. Savaitine darbe vykdymo srityje, komanda prisijungia prie savo agento, apibrėžia scenarijus ir vertinimo kriterijus, vykdo simuliacijas, ir patvirtina rezultatus per vykdančio proceso metu, kad laiku žyrimų performansi. Tai suteikia galimybių naudoti jį atvirkščiai kintamųjų programavimo metu, taip pat tikrinti ir keičianti testavimą kaip dalį CI stiliaus proceso. Neprieštarstant kartu su kitais produktais šióčiau kategorijoje ir tikruojam praeitosioje trumpoje, produkto kaina, integravimo papildai bei tikslio matavimo diapazonas patinka patikrinti tiesiogai. Komandų turi įvertinti, ar šio modelio simuliavimo scenarijus atitinka savo gamybės rūšiavimo modelį. Produktą skiriant nuo kitų paprastų LLM-evaluavimo priemonių, svarbiausia priežastis yra simuliavimo įverstumas ties keliomis, įvairiais rūšiu susijusių agente, o ne vienos paskyrimo vertinimo.