CovalPlatformă pentru evaluare și evaluare ai ai chatbot și agenturilor de vorbire automată în context conversațiilor și identificarea regressiunilor înainte de depozitarea agentului în dezvoltare

Coval este o platformă de testare și evaluare concepută pentru echipa ce dezvoltă agenți AI de conversație, în special cei care operează în multiple moduri, cum ar fi voce și chat. Adresează o problemă repetată la nivel de dezvoltare a agenților: testele unitare tradiționale și verificările manuale nu capturează natura non-deterministă, multi-turină a sistemelor agenților, făcând dificil să știi dacă o modificare îmbunătățește sau retrogradează comportamentul real din lume. Ideea de bază a platformei este simularea. De regulă, testele statice, acele casete în care se testează un produs nu acoperă toate situațiile reale. În loc de aceasta, Coval generează interacțiuni simulate ale utilizatorilor care exercită agentul pe mai multe scenarii sau căi de conversație. Aceste rulaje simulate pot fi apoi evaluate în funcție de metrii și așteptări definite, astfel încât echipelor să le poată măsura fiabilitatea înainte de a lansa modificările și să captureze retrocesiunile atunci când agenții și prompturile evoluează. Coval se poziționează atât pentru agenți vocali, cât și textuali, ceea ce este o particularitate, deoarece vocale introduce straturi suplimentare - reconstruirea vorbirii la text, lateniță și luarea rândului, care afectează calitatea agenților în afara modelului lingvistic de bază. Compania a fost comparată cu modul în care echipele de autovehicule autonome folosesc simulări în scopul validării comportamentului înainte de lansare, aplicând o filosofie de testare similară la agenți AI. Într-un workflow obișnuit, o echipă conectează agenții lor, definit scenarii și criterii de evaluare, rulează simulări și analizează rezultatele din rulaje pentru a urmări performanța în decursul timpului. Acest lucru împărtășește utilizarea în dezvoltare precum și monitorizarea continuă și testarea de regresie ca parte a unui proces de tip CI. Ca produs relativ tânăr într-o categorie în evoluție, detalii despre prețuri, integrări și acoperirea exactă a metrilor sunt mai bine confirmate direct, iar echipele ar trebui să evalueze în cunoștință de cauză dacă scenariile simulate de acest produs reflectă traficul de producție propriu. Principalul punct de diferențiere față de instrumentele generale de evaluare a LLM-urilor este accentul pe simularea agentului multi-tur și multi-modal, mai degrabă decât scorarea cu singura solicitare.