Προηγούμενη μάχη · 2024-01-11 UTC
Observability Αναμέτρηση — 11 Ιανουαρίου 2024
Από την κατηγορία Observability. 40 βαθμοί τοποθετήθηκαν σε 10 μαχητές. Το Quotient AI πήρε το στέμμα.
Τελική κατάταξη
Η σύνθεση
Οι μαχητές
Προφίλ κάθε εργαλείου που διαγωνίστηκε σε αυτή τη μάχη, καταταγμένα με βάση την τελική τους βαθμολογία.
Quotient AI
Πλατφόρμα παρακολούθησης και αξιολόγησης σε πραγματικό χρόνο για την ανίχνευση αποτυχιών AI στην αναζήτηση, το RAG και τους πράκτορες.
Το Quotient AI είναι μια πλατφόρμα παρατηρησιμότητας και αξιολόγησης που έχει σχεδιαστεί για ομάδες που αναπτύσσουν λειτουργίες με τεχνητή νοημοσύνη. Παρακολουθεί συνεχώς τα συστήματα AI σε παραγωγή — συμπεριλαμβανομένης της αναζήτησης, της δημιουργίας ενισχυμένης ανάκτησης (RAG) και των αυτόνομων πρακτόρων — για να εντοπίζει ψευδείς πληροφορίες, σφάλματα ανάκτησης και άλλα προβλήματα ποιότητας πριν τα αντιμετωπίσουν οι τελικοί χρήστες. Η πλατφόρμα συνδυάζει αυτοματοποιημένες αξιολογήσεις με ειδοποιήσεις σε πραγματικό χρόνο, βοηθώντας τις ομάδες μηχανικών και ML να διαγνώσουν τις βασικές αιτίες, να παρακολουθούν τις υποστροφές σε αλλαγές μοντέλου ή prompt, και να διατηρούν την αξιοπιστία σε κλίμακα. Με το instrumenting AI pipelines, το Quotient δίνει στους προγραμματιστές ορατότητα στο πώς οι εφαρμογές τους συμπεριφέρονται πραγματικά in the wild αντί να βασίζονται αποκλειστικά σε offline benchmarks.
Κατανομή κριτηρίων
- Παρακολούθηση AI σε πραγματικό χρόνο και ειδοποιήσεις
- Ανίχνευση ψευδαισθήσεων και σφαλμάτων ανάκτησης
- Εργαλεία αξιολόγησης για τις διεργασίες RAG
- Παρακολούθηση συμπεριφοράς πρακτόρων και διαγνωστικά
- Ανάλυση υποχώρησης σε αλλαγές μοντέλου και προτροπής
- Παρατηρησιμότητα παραγωγής για εφαρμογές AI
Weave
Ένας δημιουργός ροών εργασίας AI χωρίς κώδικα που επιτρέπει στις επιχειρήσεις να αυτοματοποιούν τις λειτουργίες τους ενσωματώνοντας πολλαπλά μεγάλα μοντέλα γλώσσας (LLMs) και συνδέοντας προτροπές...
Η W&B Weave είναι μια πλατφόρμα παρατηρησιμότητας και αξιολόγησης που βοηθά στην παρακολούθηση και βελτίωση εφαρμογών μεγάλων γλωσσικών μοντέλων (LLM). Παρέχει εργαλεία για την ενίσχυση της εντοπιστικής διαδικασίας, τη συλλογή μετρικών και την αξιολόγηση των απαντήσεων των εφαρμογών με τη χρήση κριτών LLM και προσαρμοσμένων βαθμολογητών. Τα κύρια χαρακτηριστικά περιλαμβάνουν την ενίσχυση συνεδριών, κλήσεων LLM και κλήσεων εργαλείων, καθώς και τη χειροκίνητη instrumentation των custom agents. Η πλατφόρμα υποστηρίζει ενσωματώσεις με δημοφιλή SDKs και harnesses, καθώς και παρακολούθηση προσαρμοσμένων agent. Το Weave παρέχει βιβλιοθήκες Python και TypeScript για την εγκατάσταση και χρήση της πλατφόρμας. Είναι φιλοξενημένο στο Weights & Biases (W&B), απαιτώντας λογαριασμό W&B και κλειδί API για την ταυτοποίηση. Οι χρήστες μπορούν να παρακολουθούν τις κλήσεις προς LLMs, να εξετάζουν τις εισόδους και εξόδους και να βλέπουν τα μετρικά των agent στο UI του Weave. Ενώ το Weave διευκολύνει την αυτοματοποίηση και την αξιολόγηση εφαρμογών LLM, δεν είναι δημιουργός ροών εργασίας AI χωρίς κώδικα όπως προτείνει το όνομά του.
Κατανομή κριτηρίων
- Παρακολούθηση agent και συλλογή μετρικών
- Προσαρμοσμένη παρατήρηση agent
- Παρακολούθηση LLM και αξιολόγηση
- Υποστήριξη OpenTelemetry span
- Ενσωματώσεις Weights & Biases (W&B)
- Βιβλιοθήκες Python και TypeScript
Η AgentOps είναι ένα πλαίσιο για προγραμματιστές που δίνει έμφαση τη ζωής του βίου των μηχανικών αγγελιαφόρων, προσφέροντας εργαλεία παρακολούθησης, παρακολούθησης και διόρθωσης αστοχιών που επιφανειακά εμφανίζουν τα πράγματα που οι αγγελιαφόρες πραγματικά κάνουν εκτελώντας τρέχοντας. Καταγράφει κλήσεις LLM, χρήση όπλων, έξοδα και σφάλματα έτσι ώστε οι ομάδες να κατανοούν τον βίο του αγγελιοφόρου κατά τη διαχείριση σύνθετων πολλαπλάς-βήμας workflow. Πέρα από τη διαθεσιμότητα, το AgentOps προσφέρει σεσσιόν αναπαραγωγή, αναλυτικά δεδομένα από τις απόδοσες του και συνδέσεις με δημοφιλείςrameworks agent_like LanegChain, CrewAI και AutoGen. Αυτό βοηθά τους μηχανικούς να μεταβαίνουν από πρότυπο σε παραγωγή με αποδεδειγμένη αξιοπιστία αντί να βαίνουν στο τύφλωμα ή σε ανάκτηση εγγράφων. Επιτρέπει σε ανέγερτους και ομάδες προγραμματιστών που μεταφέρουν επιτακτικά εφαρμογές να παρακολουθούν αναδρομικά αστοχίες, να ελέγχουν τις δαπάνες και να αποδείξουν ότι τα άντρες τους επεισμάτων συμπεριφέρονται σωστά πριν και μετά την εφαρμογή.
Κατανομή κριτηρίων
- Αναπαραγωγή και επαναλήψει σέσης
- Αναγνώριση κλήσεων LLM και χρήσης Instrument
- Αναλύση κόστους και τάνκων
- Δetections λανθάνσεων και αποτυχιών
- Κοινές πλαίσια SDK για το Python και JavaScript
- Διαγραμές επιδόσεων των agent
Confident AI
Πλατφόρμα αξιολόγησης LLM βασισμένη στο DeepEval για.testing, παρακολούθηση και βελτίωση εφαρμογών AI.
Το Confident AI είναι Eine платформа αξιολόγησης και παρατηρητήριου για ομάδες που κατασκευάζουν εφαρμογές με μεγάλες γλώσσες μοντέλα. Ενισχυμένο από το ανοικτό πλαίσιο DeepEval, παρέχει ένα ενοποιημένο εργασιακό χώρο για την εκτέλεση αναφορών, δοκιμών回 Η πλατφόρμα βοηθά τους μηχανικούς να πιάσουν ψευδαισθήσεις, αναδρομικά προβλήματα και αποτυχίες ανάκτησης πριν από την αποστολή, ενώ bietet παρακολούθηση παραγωγής για να παρακολουθήσει τις αλληλεπιδράσεις των πραγματικών χρηστών. Οι ομάδες μπορούν να κεντρώσουν τους συνόλους δεδομένων, να μοιράζονται αποτελέσματα δοκιμών και να επαναλαμβάνουν τις προτροπές με μετρημένες πληροφορίες αντί για τυχαίες υποθέσεις. Απευθύνεται σε αναπτυξιακούς, μηχανικούς ML και ομάδες QA που θέλουν μια δομημένη, προσηλωμένη στα μετρητά πρόkowski APPROACH για την ποιότητα του LLM αντί για jednu ad-hoc χειροκίνητη αναθεώρηση.
Κατανομή κριτηρίων
- Μέτρα αξιολόγησης που βασίζονται στο DeepEval
- Δοκιμές 回귀 για προτροπές και μοντέλα
- Αξιολόγηση RAG και ανάκτησης
- Παρακολούθηση και παρακολούθηση παραγωγής
- Διαχείριση συνόλου δεδομένων και περιπτώσεων δοκιμής
- Συνεργασία ομάδας σε αποτελέσματα αξιολόγησης
Fiddler AI
Πλατφόρμα AI παρατηρησιμότητας και ασφάλειας για παρακολούθηση, εξήγηση και διακυβέρνηση εφαρμογών ML και LLM.
Fiddler AI είναι μια επιχειρησιακή πλατφόρμα που βοηθά τις ομάδες να παρακολουθούν, αναλύουν και ασφαλίζουν μοντέλα μηχανικής μάθησης και εφαρμογές γενετικής AI σε παραγωγή. Παρέχει ορατότητα στην απόδοση του μοντέλου, στη μετατόπιση δεδομένων, στις προκαταλήψεις και στα ζητήματα ποιότητας, ενώ προσφέρει επίσης προστασία ενάντια σε κινδύνους που σχετίζονται με LLMs όπως οι ψευδαισθήσεις, η έγχυση προτροπών και τα μη ασφαλή αποτελέσματα. Σχεδιασμένο για μηχανικούς ML, επιστήμονες δεδομένων και ομάδες κινδύνου και συμμόρφωσης, το Fiddler AI συνδυάζει την εξηγησιμότητα, την παρακολούθηση σε πραγματικό χρόνο και μηχανισμούς προστασίας σε μία ενιαία ροή εργασίας. Ενσωματώνεται με κοινά pipelines ML και περιβάλλοντα cloud, βοηθώντας τις οργανώσεις να υλοποιήσουν υπεύθυνες πρακτικές AI σε κλίμακα.
Κατανομή κριτηρίων
- Παρακολούθηση απόδοσης μοντέλου και μεταβολών (drift)
- Ανίχνευση ψευδαισθήσεων και ασφάλειας σε LLM
- Προστασία από εισβολή εντολών (prompt injection) και jailbreak
- Εξηγήσιμη AI και ανάλυση αιτιολογίας (root cause analysis)
- Αξιολογήσεις προκατάληψης και δικαιοσύνης
- Πίνακες ελέγχου και ειδοποιήσεις για AI παραγωγής
Portkey
Προσαρμοσμένο επίπεδο ελέγχου για την κατασκευή, διαχείριση και παρακολούθηση εφαρμογών AI
Το Portkey είναι ένας ενιαίος ελέγχου για την κατασκευή, διαχείριση και παρακολούθηση εφαρμογών AI. Παρέχει μια ολοκληρωμένη πλατφόρμα για τις ομάδες AI ώστε να περάσουν στην παραγωγή, προσφέροντας λειτουργίες όπως AI Gateway, Observability, Guardrails, Governance και Prompt Management. Η πλατφόρμα επιτρέπει στους χρήστες να έχουν πρόσβαση σε πάνω από 1.600 LLMs μέσω ενός ενιαίου API, απλοποιώντας τη διαδικασία ενσωμάτωσης μοντέλων και επιτρέποντας στις ομάδες να εστιάσουν στην ανάπτυξη αντί στην διαχείριση. Το Portkey προσφέρει επίσης real-time observability, επιτρέποντας στους χρήστες να παρακολουθούν τη συμπεριφορά των LLMs, να εντοπίζουν ανωμαλίες νωρίς και να διαχειρίζονται τη χρήση προληπτικά. Επιπλέον, η πλατφόρμα παρέχει δυνατότητες caching, οι οποίες έχουν αποδειχθεί ότι εξοικονομούν στους χρήστες χιλιάδες δολάρια με τη μείωση των επαναλαμβανόμενων δοκιμών. Το Portkey είναι σχεδιασμένο για τις ομάδες AI και υποστηρίζει μια ευρεία γκάμα LLMs, με πάνω από 3.000 GenAI teams και μεγάλο αριθμό tokens που επεξεργάζονται καθημερινά.
Κατανομή κριτηρίων
- Πύλη AI με δρομολόγηση πολλαπλών παρόχων
- Διαχείριση και έκδοση προτροπών
- Καταγραφές αιτημάτων, εντοπισμός και ανάλυση
- Σημασιολογική προσωρινή αποθήκευση και επαναπροσπάθειες
- Προστατευτικά όρια για επαλήθευση εισόδου και εξόδου
- Πάνελ παρακολούθησης χρήσης και κόστους
Relari (YC W24)
Πλατφόρμα δοκιμών, αξιολόγησης και δημιουργίας συνθετικών δεδομένων για AI agents.
Η Relari είναι μια πλατφόρμα για προγραμματιστές που εστιάζει στη βελτίωση της αξιοπιστίας των AI agents μέσω συστηματικού testing και αξιολόγησης. Βοηθά τις ομάδες να δημιουργούν συνθετικά σύνολα δεδομένων, να εκτελούν αυτοματοποιημένες αξιολογήσεις και να benchmark την απόδοση των agents σε ρεαλιστικά σενάρια πριν τα μεταφέρουν στην παραγωγή. Υποστηριζόμενο από το Y Combinator (W24), το Relari στοχεύει σε ομάδες μηχανικών που δημιουργούν σύνθετες εφαρμογές LLM και πολυβηματικούς πράκτορες, όπου η παραδοσιακή QA αποτυγχάνει. Το εργαλείο του αποσκοπεί να φέρει την αυστηρότητα της μηχανικής λογισμικού — unit tests, regression checks και μετρήσιμα metrics — στα μη‑ντετερμινιστικά συστήματα AI. Η πλατφόρμα υποστηρίζει προσαρμοσμένους αξιολογητές, προσομοίωση σεναρίων και συνεχή παρακολούθηση, καθιστώντας την χρήσιμη τόσο για την επαλήθευση πριν την κυκλοφορία όσο και για τη συνεχή διασφάλιση ποιότητας των παραγωγικών πρακτόρων.
Κατανομή κριτηρίων
- Δημιουργία συνθετικών συνόλων δεδομένων
- Αυτοματοποιημένες ροές αξιολόγησης πρακτόρων
- Προσομοίωση σεναρίων και συζητήσεων
- Προσαρμόσιμες μετρικές αξιολόγησης
- Δοκιμές παλινδρόμησης για εφαρμογές LLM
- Βαθμονόμηση απόδοσης και αναφορά
Arize AI
Μια πλατφόρμα παρατηρήσιμότητας AI και αξιολόγησης LLM που βοηθά τους αιθλολόγους και επιστήμονες δεδομένων στην παρακολούθηση, τη διόρθωση προβλημάτων και τη βελτιστοποίηση της απόδοσης... ...
Η Arize AI είναι μια πλατφόρμα παρατήρησης AI και αξιολόγησης LLM. Βοηθά τα AI déveloper και τους ιεραποστολές δεδομένων να παρακολουθούν, να διορθώνουν και να αποθαρρύνουν τη λειτουργία των AI μεθόδων τους. Η πλατφόρμα παρέχει εργαλεία για την εντοίχηση προβλήματος και την προταση λύσεων, εξασφαλίζοντας έτσι ένα βελτιωμένο ακριβή και αξιοπρεπές τους μεθόδους. Η Arize AI σχεδιάστηκε για AI déveloper και επιστήμονες δεδομένων που επωφελούνται από την πελματιδαία λειτουργία των μεθόδων τους. Οι Möglichkeiten της πλατφόρμας περιλαμβάνουν την παρακολούθηση και την διόρθωση, επιτρέποντάς τους να αναγνωρίζουν και να αντιμετωπίζουν τα προβλήματα γρήγορα. Επίσης, η πλατφόρμα παρέχει πεδία για την αξιολόγηση και την αποθαρρυντική διαφορα της λειτουργία των μεθόδων, επιτρέποντάς τους να αποθαρρύνουν τη λειτουργία τους στο διάστημα. Χρησιμοποιώντας την Arize AI, οι χρήστες μπορούν να αποκαταστήσουν τη σταθερή λειτουργία των AI μεθόδων των, επιτυγχάνοντας έτσι μια καλύτερη ληψη αποφάσεων και αποτελέσματα. Η επικεντρωμένη της παράσταση στις παρατηρησεις και την αξιολόγηση την καθιστά διαφορετική από τις άλλες εργαλεία ανάπτυξης AI, καθισμένος ένα πολύτιμο πόρου για εκείνους που εργάζονται με μεγάλα λεξικά μοντέλα και άλλες phứcτές AI συστήματα.
Κατανομή κριτηρίων
- Εκτιμήσεις μοντέλου AI
- Επιδιόρθωση και ταυτοποίηση problèmes
- Παράθεμα επιλόγη γενησια
- Εξέταση επιδόσεων του μοντέλου
- Εξέταση LLM και απόκτηση
- Αξιολόγηση και βελτίωση LLM
Edwin AI
Μηχανιακή συνήγορος για τις Λειτουργίες Τεχνολογικών Συστημάτων που γρήγορα ανακαλύπτει, τυποποιητικά και συνδέει επεισόδια και λήξη.
Η Edwin AI είναι ένα πράγμα υπολογιστή για διαχειριστές IT προκειμένου να επιταχύνουν την ανεύρεση, την αξιολόγηση και τη λύση από περιστατικά. Προσφέρει μια κεντρική πλατφόρμα για ομάδες διαχειριστών IT για να εξετάζουν περιστατικά, να αντιλαμβάνονται την επιτυγχανόμενη επίδραση, να βρουν ή να δημιουργήσουν συνταγές διόρθωσης και να τις εφαρμόσουν σε υπάρχοντα εργαλεία χωρίς να χρειάζονται να στρεφόμαστε μεταξύ συστημάτων. Η Edwin AI αντιστοιχίζει ειδοποιήσεις, ταυτοποιεί τα ριζικά αιτία και έναρτάει αυτομάτως την διόρθωση, από την πρώτη ειδοποίηση μέχρι την επεξεργασία επιβεβαίωσης. Απλώνεται στο παρελθόν πρότυπα και δεδομένα παρατήρησης για να 预βλέψει και να αποτρέπει εκλείψεις. Το εργαλείο ολοκληρώνεται με πάνω από 3000 εργαλεία διαφορετικά σε παρατηρησιμότητα, API-ΠΜ, ασφάλεια και εγχειρίδιο καταλόγων αναλώσιμων. Ενεργοποιεί πραγματικότητα σε χρόνο-καιρός, σαφείς κατευθύνσεις και καταργεί στίλωση. Μια μελέτη της Forrester βρήκε ότι η Edwin AI παρέδωσε ένα 313% ROI για ένα συνθετικό όργανο, με μια περίοδο ανταμοιβής του 6 μενα μηνών ή λιγότερους
Κατανομή κριτηρίων
- Σύνδεση ειδοποιήσεων και μείωση θορύβου
- Προτάσεις ανώτερης αρχικής πρόκλησης από τις μηχανικές
- Φυσικό γλώσσα περιγράφοντας κείμενο για την περίληψη των επεισοδίων
- Ολοκληρωμένες διαλειτουργότητες με τα πλαίσια IT και την παρατηρησιμότητα
- Αυτόματες διαδικασίες τριλογισμού
- Ενίσχυση της γνώσης από τα περασμένα επεισόδια
FoundryAI
Δημιουργήστε, αξιολογήστε και βελτιώστε AI πράκτορες για επιχειρησιακό αυτοματισμό
Το FoundryAI είναι μια πλατφόρμα ανάπτυξης που εστιάζει στη δημιουργία πρακτόρων AI που διαχειρίζονται πραγματικές επιχειρηματικές ροές εργασίας. Συνδυάζει εργαλεία σχεδίασης, δοκιμής και συνεχούς βελτίωσης των πρακτόρων, ώστε οι ομάδες να μεταβούν από το πρωτότυπο στην παραγωγή χωρίς να χρειάζεται να συνδέουν ξεχωριστά συστήματα. Η πλατφόρμα δίνει έμφαση στην αξιολόγηση, παρέχοντας στους δημιουργούς τρόπους να μετράν την απόδοση των πρακτόρων σε σχέση με καθορισμένες εργασίες και να βελτιώνουν τη συμπεριφορά τους με την πάροδο του χρόνου. Αυτό την καθιστά κατάλληλη για οργανισμούς που αυτοματοποιούν την εξυπηρέτηση πελατών, τις εσωτερικές λειτουργίες ή την επαναλαμβανόμενη εργασία γνώσης, όπου η αξιοπιστία έχει σημασία. FoundryAI απευθύνεται σε τεχνικές ομάδες που χρειάζονται περισσότερο έλεγχο από ό,τι προσφέρουν οι δημιουργοί χωρίς κώδικα, αλλά θέλουν ταχύτερη επανάληψη από την κατασκευή πρακτόρων εξ ολοκλήρου από το μηδέν.
Κατανομή κριτηρίων
- Περιβάλλον δημιουργίας πρακτόρων
- Εργαλεία αξιολόγησης και δοκιμών
- Παρακολούθηση απόδοσης
- Υποστήριξη αυτοματοποίησης ροής εργασίας
- Βρόχοι επαναληπτικής βελτίωσης
- Ενσωμάτωση με επιχειρησιακά συστήματα