CovalΠλατφόρμα سیمουλατσίας και αξιολόγησης για την δοκιμή βοηθών ομιλίας και συζητήσεων AI σε κλίμακα

Η Coval είναι ένα πλαίσιο δοκιμών και αξιολόγησης που απευθύνεται σε ομάδες που κατασκευάζουν.agent του διάδρασης AI, ιδίως εκείνες που λειτουργούν μετά από φωνητική και πλατφόρμα ανταλλαγών. Καλύπτει έναagain πρόβλημα στην ανεπτυγμένη των Agent: τα παραδοσιακά unit και ελεγξις με χειρωνακτικά μενταγιέ δεν κερδίζουν την ανεπάρκεια, πολλατεχνική, multi-turn πίσσα ανταλλαγών, κάνει τη δύναμη για να γνωρίζεις αν μια αλλαγή βελτίωσε ή αναστράφηκε πραγματικό-world συμπεριφορά. Η πλατφόρμα ουσιαστικά στηριζόμενη στην ιδέα της αναπαραγωγής. Αντί να βασίζεται αποκλειστικά σε στατικές περιπτώσεις δοκιμής, η Coval generates προκαταρκτικές χρήσης χρηστών ενεργά που εκτελούν ένα πράγμα κατά την διάρκεια πολλών σενариών και συνομιλιακών μονοπατιών. Αυτές οι προκαταρκτικές δοκιμές μπορούν στη συνέχεια να αξιολογηθούν σύμφωνα με ορισμένες μετρικές και ορισμένες προσδοκίες, επιτρέποντας στις ομάδες να μετρήσουν την αξιοπιστία πριν απο την αποστολήα των αλλαγών και να εντοπίζουν την ανάκτηση των σφαλμάτων καθώς οι πράγματα και οι εντολές εξελίσσονται. Ο Coval είναι καταρτισμός για και τα δυο φωνητικό και κείμενο agent, το οποίο είναι φανερό γιατί το φωνητικό introduce επιπλέον στρώματα — φωνητική-κειμενοποίηση, καθυστερησεις και αλλαγή ρυθμού — η οποία επηρεάζουν την ποιότητα του agent πέρα από την ταυτοποιημένη γλώσσα_model. Η εταιρεία έχει δει συγκρίσεις με την περίπτωση όπου οι ομάδες των αυτόνομων οχημάτων χρησιμοποιούν μεγάλες κλίμακες προσομοίωσης για την ειλικρίνεια του συνόλου πριν την εφαρμογή, εφαρμόζοντας μια παρόμοια φιλοσοφία δοκιμών στους AI_agent. Στην τυπική διαδικασία, μια ομάδα συνδέει τον πειραματόστη του, ορίζει σεναρίου και κριτηρίων αξιολόγησης, τρέχει σεμιναρίων, και εξετάζει αποτελέσματα ταχύτητας κατά την παρακολούθηση της επιδείνωσης στον χρόνο. Αυτό υποστηρίζει τη χρήση στην ανάπτυξη, καθώς και τη continua παρακολούθηση και την αναδρομική ανίχνευση σφαλμάτων ως μέρος ενός CI-ύπολογισμού. Ως σχετικά νέο προϊόν σε μία εξελιξομένη κατηγορία, για την κατηγορία πλέον των λεπτομερειών του τιμολόγιου, τα εσωτερικές συσσωματώσεις και την ακριβήครอบθρέψη των μέτρων καλύτερα να επιβεβαιωθούν άμεσα, και οι ομάδες θα αξιολογήσουν πώς tốt τα συμηθυγραμμένα σενάρια της ανταποκρίνονται στα δικά τους ρευστά κτήματα κυκλοφορίας. Η κύρια διαφορά της από τα γενικά εργαλεία αξιολόγησης LLM είναι η έμφαση στην εξέλιξη των συνεχών σενάριων - ταυτόχρονα και μόνιμα (multi-turn, multi-modal) πράγματισμα διοργάνωσης αράτω και όχι η μονή βαθμολόγηση προβλημάτων (single-prompt scoring).