Bataille passée · 2024-01-11 UTC
Observability Duel — 11 janvier 2024
De la catégorie Observability. 40 marques placées sur 10 combattants. Quotient AI a décroché la couronne.
Classement final
Le casting
Les combattants
Profils de chaque outil ayant concouru dans cette bataille, classés par leur score final.
Quotient AI
Plateforme de surveillance et d'évaluation temps réel pour détecter les échecs d'IA dans la recherche, les RAG et les agents.
Quotient AI est une plateforme d'observabilité et d'évaluation conçue pour les équipes qui déploient des fonctionnalités alimentées par l'intelligence artificielle. Elle surveille en continu les systèmes d'intelligence artificielle en production - y compris la recherche, la génération augmentée de récupération (RAG) et les agents autonomes - pour détecter les hallucinations, les erreurs de récupération et autres problèmes de qualité avant que les utilisateurs finaux ne les rencontrent. La plateforme combine des évaluations automatisées avec des alertes en temps réel, aidant les équipes d'ingénierie et de ML à diagnostiquer les causes profondes, à suivre les régressions entre les changements de modèle ou de prompt, et à maintenir la fiabilité à grande échelle. En instrumentant les pipelines d'IA, Quotient donne aux développeurs une visibilité sur la façon dont leurs applications se comportent réellement dans la pratique plutôt que de s'appuyer uniquement sur des benchmarks hors ligne.
Répartition des critères
- Surveillance en temps réel de l'IA et avertissement
- Hallucination et détection d'erreurs de récupération
- Outils d'évaluation pour les pipelines RAG
- Suivi et diagnostic du comportement des agents
- Analyse de regression entre les changements de modèle et de détonation
- Observabilité de production pour les applications d'IA
W&B Weave est une plate-forme d'observabilité et d'évaluation qui aide à suivre et à améliorer les applications de grands modèles de langage (LLM). Weave fournit des outils pour tracer, collecter des métriques et évaluer les réponses des applications à l'aide de juges LLM et de scoreurs personnalisés. Les fonctionnalités clés incluent le suivi des sessions, des appels LLM et des appels d'outils, ainsi que l'instrumentation manuelle d'agents personnalisés. La plate-forme prend en charge les intégrations avec des SDK et des harness populaires, ainsi que l'observabilité d'agents personnalisés. Weave fournit des bibliothèques Python et TypeScript pour installer et utiliser la plate-forme. Elle est hébergée sur Weights & Biases (W&B), nécessitant un compte W&B et une clé API pour l'authentification. Les utilisateurs peuvent tracer les appels aux LLM, examiner les entrées et les sorties, et afficher les métriques des agents dans l'interface utilisateur de Weave. Bien que Weave facilite l'automatisation et l'évaluation des applications LLM, il ne s'agit pas d'un créateur de workflow AI sans code comme pourrait le suggérer son nom.
Répartition des critères
- Étendez les workflows
- Intégration des LMs multiples dans un pipeline
- Fourniture de texte et démarrage rapide
- Extrait les strengths des systèmes de modèles d'annotation large (LMs) pour le développement d'applications
- Analyse des interactions d'utilisateurs
- Contrôle de la précision avec des justifications
AgentOps est une plateforme pour développeurs dédiée au cycle de vie des agents IA, offrant des outils de tracing, de monitoring et de débogage qui révèlent ce que les agents font réellement à l'exécution. Elle capture les appels aux LLM, l'utilisation des outils, les coûts et les erreurs, permettant aux équipes de comprendre le comportement des agents au sein de workflows complexes en plusieurs étapes. Au-delà de la visibilité, AgentOps propose le rejeu de sessions, des analyses de performance et des intégrations avec les frameworks d'agents populaires tels que LangChain, CrewAI et AutoGen. Cela aide les ingénieurs à passer du prototype à la production avec une fiabilité mesurable, plutôt que de s'appuyer sur des suppositions ou l'analyse manuelle des logs. L'outil s'adresse aux développeurs et aux équipes qui déploient des applications agentiques et qui ont besoin de suivre les régressions, de maîtriser les dépenses et de prouver que leurs agents se comportent correctement avant et après le déploiement.
Répartition des critères
- Enregistrement et relecture des sessions agent
- Suivi des appels à l'LLM et de l'utilisation d'outils
- Analytique coûts et tokens
- Détection des erreurs et des échecs
- SDK du cadre pour Python et JavaScript
- Tableaux de bord des métriques de performance agent
Confident AI
Plateforme d'évaluation des LLM basée sur DeepEval pour tester, surveiller et améliorer les applications d'intelligence artificielle.
Confident AI est une plateforme d'évaluation et d'observabilité pour les équipes qui développent des applications basées sur des grands modèles de langage. Alimentée par le framework open-source DeepEval, elle fournit un espace de travail unifié pour exécuter des benchmarks, des tests de régression et des contrôles de qualité sur les invites, les modèles et les pipelines de récupération. La plateforme aide les ingénieurs à détecter les hallucinations, les régressions de prompts et les défaillances de récupération avant la mise en production, tout en offrant un suivi en production pour suivre les interactions réelles des utilisateurs. Les équipes peuvent centraliser les jeux de données, partager les résultats des tests et itérer sur les prompts avec un retour d'information mesurable plutôt que des supputations. Il s'adresse aux développeurs, aux ingénieurs en apprentissage automatique et aux équipes de contrôle qualité qui souhaitent une approche structurée et axée sur les indicateurs pour l'assurance qualité des LLM, plutôt qu'un examen manuel ad hoc.
Répartition des critères
- Métriques d'évaluation DeepEval
- Tests de régression pour les stimuli et les modèles
- Évaluation RAG et de récupération
- Suivi et surveillance du rendu en production
- Gestion des jeux de données et des cas de test
- Collaboration d'équipe sur les résultats d'évaluation
Fiddler AI
Plateforme d'observabilité et de sécurité AI pour la surveillance, l'explication et le gouvernement des applications ML et LLM.
Fiddler AI est une plateforme d'entreprise qui aide les équipes à surveiller, analyser et sécuriser les modèles d'apprentissage automatique et les applications d'IA générative en production. Elle fournit une visibilité sur les performances des modèles, la dérive des données, les biais et les problèmes de qualité, tout en offrant des protections contre les risques spécifiques aux LLM tels que les hallucinations, l'injection de prompts et les sorties dangereuses. Conçu pour les ingénieurs en apprentissage automatique, les scientifiques de données et les équipes de gestion des risques et de la conformité, Fiddler combine l'explicabilité, la surveillance en temps réel et les garde-fous dans un seul flux de travail. Il s'intègre aux pipelines ML courants et aux environnements cloud, aidant les organisations à opérationnaliser des pratiques d'IA responsables à grande échelle.
Répartition des critères
- Surveillance de la performance et du dérive des modèles
- Détection des hallucinations et de la sécurité des LLM
- Protection contre l'injection de prompt et les jailbreak
- Intelligence artificielle explicite et analyse de cause racine
- Évaluation des biais et de l'équité
- Tableaux de bord et alertes pour l'IA en production
Portkey
Plateforme de contrôle unifiée pour construire, gérer et surveiller les applications informatiques avancées
Portkey est une plateforme de contrôle unifiée pour la construction, la gestion et la surveillance des applications informatiques avancées. Elle fournit une plateforme complète pour les équipes d'IA afin de passer en production, offrant des caractéristiques telles que le passage de données par API, l'Observabilité, les Garde-fous, la Gestion et la Gestion des prompts. La plateforme permet aux utilisateurs d'accéder à plus de 1 600 LLM via une API unifiée, simplifiant le processus de liaison des modèles et permettant aux équipes de se concentrer sur la construction plutôt que sur la gestion. Portkey fournit également une Observabilité en temps réel, permettant aux utilisateurs de surveiller le comportement des LLM, de détecter les anomalies précoce et de gérer l'utilisation de manière proactive. De plus, la plateforme fournit des capacités de cache, qui ont été montrées pour épargner aux utilisateurs des milliers de dollars en réduisant les tests redondants. Portkey est conçue pour les équipes d'IA et prend en charge un large éventail de LLM, avec plus de 3 000 équipes de GenAI et un grand nombre de jetons traités quotidiennement.
Répartition des critères
- Passage de données avec routage multi-fournisseur
- Gestion des prompts avec numérotation et version
- Journalisation des requêtes, des étapes et des analytiques
- Cache semantique et reprise
- Garde-fous pour la validation d'entrée et de sortie
- Dashboards de surveillance de l'utilisation et des coûts
Relari (YC W24)
Plateforme de test, de notation et de génération de données synthétiques pour les agents IA.
Relari est une plate-forme de développement axée sur l'amélioration de la fiabilité des agents d'intelligence artificielle grâce à des tests et des évaluations systématiques. Elle aide les équipes à générer des jeux de données synthétiques, à exécuter des évaluations automatisées et à évaluer les performances des agents dans des scénarios réalistes avant leur mise en production. Soutenu par Y Combinator (W24), Relari cible les équipes d'ingénieurs qui développent des applications LLM complexes et des agents multi-étapes où les tests QA traditionnels sont insuffisants. Ses outils visent à apporter une rigueur d'ingénierie logiciel — tests unitaires, contrôles de régression et métriques mesurables — aux systèmes d'IA non déterministes. La plateforme prend en charge des évaluateurs personnalisés, la simulation de scénarios et la surveillance continue, ce qui la rend utile à la fois pour la validation avant lancement et pour l'assurance qualité continue des agents de production.
Répartition des critères
- Génération de données de séries synthétiques
- Agrégation de pipelines d'évaluation automatique
- Simulation de scénarios et de conversations
- Métriques d'évaluation personnalisables
- Contrôle de regression pour les applications LLM
- Évaluation et rapportage de performances
Arize AI
Une plateforme d'observabilité IA et d'évaluation LLM qui aide les développeurs IA et les data scientists à surveiller, dépanner et améliorer la performance…
Arize AI est une plateforme de mise en observation de l'IA et d'évaluation des modèles LLM. Elle aide les développeurs d'IA et les scientifiques des données à surveiller, à diagnostiquer et à améliorer le rendement de leurs modèles d'IA. La plateforme fournit des outils pour identifier les problèmes et proposer des solutions, aidant les utilisateurs à améliorer l'exactitude et la fiabilité de leurs modèles. Arize AI est conçue pour les développeurs d'IA et les scientifiques des données qui doivent optimiser le rendement de leurs modèles. Les capacités de la plateforme incluent la surveillance et le dépannage, permettant aux utilisateurs de repérer rapidement et de résoudre les problèmes. Arize AI fournit également des fonctionnalités d'évaluation et d'amélioration du rendement modulaire, permettant aux utilisateurs de rationaliser leurs modèles au fil du temps. En utilisant Arize AI, les utilisateurs peuvent s'assurer que leurs modèles d'IA fonctionnent à leur optimum, entraînant des prises de décision et des résultats meilleurs. Le focus de la plateforme sur la mise en observation et sur l'évaluation la démarque des autres outils de développement d'IA, la rendant un ressource précieuse pour ceux qui travaillent avec des modèles de langage de grande taille et d'autres systèmes d'IA complexes.
Répartition des critères
- Surveillance des modèles de ML.
- Dépannage et identification des problèmes.
- Génération de corrections proposées.
- Évaluation des performances du modèle.
- Évaluation et optimisation du modèle LLM.
Edwin AI
Agent de l'intelligence artificielle pour les opérations informatiques qui accélère la détection, le triage et la résolution des incidents.
L'Edwin AI est un agent de l'intelligence artificielle pour les opérations informatiques conçu pour accélérer la détection, le triage et la résolution des incidents. Il fournit une plateforme centralisée pour les équipes informatiques pour investiguer les incidents, comprendre leur impact, trouver ou générer des correctifs, et les appliquer dans les outils existants sans avoir besoin de passer d'un système à un autre. Le Edwin AI corrèle les alertes, identifie les causes profondes, et initiate des remédiations automatiquement, à partir de la première alerte jusqu'à la résolution vérifiée. Il utilise des modèles historiques et des données d'observabilité pour prédire et prévenir les panne. L'outil intègre avec plus de 3 000 outils au sein de l'observabilité, du APM, de la sécurité et de la CMDB, permettant des insights immédiats et actuels, et éliminant les silos. Une étude de Forrester a constaté que l'Edwin AI a fourni un RIO de 313% pour une société composite, avec un délai de remboursement de moins de 6 mois.
Répartition des critères
- Correlation des alarmes et réduction du bruit
- Suggestions de causes profondes guidées par l'IA
- Résume des incidents dans un langage naturel
- Intégrations avec les plateformes ITSM et d'observabilité
- Flux de travail de triage automatisé
- Enrichissement des connaissances à partir des incidents passés
FoundryAI
Créez, évaluez et améliorez des agents d'intelligence artificielle pour l'autonomisation des entreprises
FoundryAI est une plate-forme de développement axée sur la création d'agents d'intelligence artificielle qui gèrent des flux de travail commerciaux réels. Elle combine des outils de conception d'agents, de test et d'amélioration continue pour permettre aux équipes de passer d'un prototype à une production sans avoir à assembler des systèmes distincts. La plateforme met l'accent sur l'évaluation, offrant aux développeurs des moyens de mesurer les performances des agents par rapport à des tâches définies et d'affiner le comportement au fil du temps. Cela la rend adaptée aux organisations qui automatisent le support client, les opérations internes ou les travaux de connaissance répétitifs où la fiabilité est importante. FoundryAI s'adresse aux équipes techniques qui ont besoin de plus de contrôle que ce que les no-code builders proposent, mais qui souhaitent une itération plus rapide que la construction d'agents entièrement à partir de zéro.
Répartition des critères
- Environnement de construction d'agent
- Outils d'évaluation et de test
- Suivi des performances
- Support d'automatisation des workflows
- Boucles d'amélioration itérative
- Intégration avec les systèmes métier