CovalPlateforme de simulation et d'évaluation pour tester les agents de voix et de chat AI à grande échelle

Coval est une plateforme de test et d'évaluation destinée aux équipes qui développent des agents de conversation AI, en particulier ceux qui opèrent sur les modalités de voix et de chat. Elle répond à un problème récurrent dans le développement d'agents : les tests unitaires traditionnels et les vérifications manuelles ne capturent pas la nature non déterministe et multi-étapes des systèmes agents, ce qui rend difficile de savoir si un changement améliore ou dégrade le comportement dans le monde réel. La plateforme repose sur l'idée de simulation. Plutôt que de s'appuyer uniquement sur des cas de test statiques, Coval génère des interactions utilisateur simulées qui exercent un agent sur de nombreux scénarios et chemins de conversation. Ces exécutions simulées peuvent ensuite être évaluées par rapport à des indicateurs et des attentes définis, permettant aux équipes de mesurer la fiabilité avant de déployer des changements et de détecter les régressions à mesure que les agents et les invites évoluent. Coval est positionnée pour les agents de voix et de texte, ce qui est notable car la voix introduit des couches supplémentaires - reconnaissance vocale, latence et tour de rôle - qui affectent la qualité de l'agent au-delà du modèle de langage sous-jacent. La société a été comparée à la façon dont les équipes de véhicules autonomes utilisent la simulation à grande échelle pour valider le comportement avant le déploiement, en appliquant une philosophie de test similaire aux agents AI. Dans un flux de travail typique, une équipe connecte son agent, définit des scénarios et des critères d'évaluation, exécute des simulations, et examine les résultats de plusieurs exécutions pour suivre les performances au fil du temps. Cela prend en charge l'utilisation dans le développement ainsi que la surveillance continue et les tests de régression dans le cadre d'un processus de type CI. En tant que produit relativement jeune dans une catégorie en évolution, les détails de tarification, d'intégrations et de couverture métrique exacte sont mieux confirmés directement, et les équipes doivent évaluer dans quelle mesure les scénarios simulés reflètent leur propre trafic de production. Sa principale différenciation par rapport aux outils d'évaluation LLM généraux est l'accent mis sur la simulation d'agents multi-étapes et multi-modaux plutôt que sur l'évaluation de invites uniques.