Bataille passée · 2026-07-24 UTC
Observability Duel — 24 juillet 2026
De la catégorie Observability. 21 marques placées sur 9 combattants. Coval (YC S24) a décroché la couronne.
Classement final
Le casting
Les combattants
Profils de chaque outil ayant concouru dans cette bataille, classés par leur score final.
Coval (YC S24)
Plateforme de simulation et d'évaluation pour tester les agents vocaux et de chat de l'IA à grande échelle.
Coval est une plateforme de développement conçue pour simuler, tester et évaluer les agents d'intelligence artificielle avant leur mise en production. Elle permet aux équipes d'exécuter des milliers de conversations synthétiques contre leurs agents vocaux ou de chat, en mesurant leur capacité à gérer les cas limites, les interruptions, les appels de outils et les dialogues à plusieurs tours. Soutenu par Y Combinator (S24), Coval se positionne comme une approche de type « voitures autonomes » pour la fiabilité des agents, en appliquant des tests rigoureux basés sur la simulation aux IA conversationnelles. Les ingénieurs peuvent définir des scénarios, rejouer le trafic de production, évaluer les sorties en fonction de métriques personnalisées et suivre les régressions entre les versions des agents. La plateforme cible les équipes qui déployent des agents orientés client dans les domaines du support, des ventes et des opérations, où la fiabilité et la cohérence sont essentielles.
Répartition des critères
- Simulation de conversation à grande échelle
- Test d'agents vocaux avec dialogue réaliste
- Métriques d'évaluation personnalisées et notation
- Suivi des régressions à travers les versions d'agent
- Génération de scénarios et de cas limite
- Relecture de trafic de production
Fiddler AI
Plateforme d'observabilité et de sécurité AI pour la surveillance, l'explication et le gouvernement des applications ML et LLM.
Fiddler AI est une plateforme d'entreprise qui aide les équipes à surveiller, analyser et sécuriser les modèles d'apprentissage automatique et les applications d'IA générative en production. Elle fournit une visibilité sur les performances des modèles, la dérive des données, les biais et les problèmes de qualité, tout en offrant des protections contre les risques spécifiques aux LLM tels que les hallucinations, l'injection de prompts et les sorties dangereuses. Conçu pour les ingénieurs en apprentissage automatique, les scientifiques de données et les équipes de gestion des risques et de la conformité, Fiddler combine l'explicabilité, la surveillance en temps réel et les garde-fous dans un seul flux de travail. Il s'intègre aux pipelines ML courants et aux environnements cloud, aidant les organisations à opérationnaliser des pratiques d'IA responsables à grande échelle.
Répartition des critères
- Surveillance de la performance et du dérive des modèles
- Détection des hallucinations et de la sécurité des LLM
- Protection contre l'injection de prompt et les jailbreak
- Intelligence artificielle explicite et analyse de cause racine
- Évaluation des biais et de l'équité
- Tableaux de bord et alertes pour l'IA en production
Future AGI
Une plateforme améliorant l'exactitude de l'intelligence artificielle grâce à des outils d'évaluation et d'optimisation complets.
Future AGI est une plateforme qui améliore l'exactitude de l'intelligence artificielle grâce à des outils d'évaluation et d'optimisation complets. Elle permet aux utilisateurs de créer des agents améliorant en soi, de détecter ce qui ne marche pas, et de comprendre pourquoi. La plateforme offre une gamme de fonctionnalités, notamment l'évaluation d'agents, l'optimisation et des conversations simulées. Les utilisateurs peuvent créer et gérer des scenarios, et la plateforme fournit des outils d'analyse et d'optimisation pour améliorer les performances des agents. Future AGI semble s'adresser aux développeurs et aux entreprises cherchant à déployer des agents et des chatbots alimentés par l'intelligence artificielle. Elle permet aux utilisateurs de simuler des conversations, d'évaluer et d'optimiser les performances des agents, et d'intégrer des bases de connaissances. La plateforme offre des fonctionnalités telles que l'évaluation d'agents, des conversations simulées, et la gestion de scenarios. Elle permet aux utilisateurs de modifier et de gérer des prompts, d'ajouter des étapes de récupération pour des articles de base de connaissances, et d'intégrer des prompts mondiaux pour gérer des situations complexes. Bien que Future AGI fournisse des fonctionnalités précieuses pour le développement et l'optimisation de l'intelligence artificielle, elle comporte également des limites. Par exemple, elle repose sur des connaissances générales et peut exiger des étapes supplémentaires pour des scénarios plus complexes. De plus, la dépendance de la plateforme aux conversations simulées peut limiter sa capacité à gérer les incertitudes réelles du monde. Future AGI semble offrir un ensemble unique de fonctionnalités pour le développement et l'optimisation de l'intelligence artificielle. Ses outils d'évaluation et d'optimisation complets en font une ressource précieuse pour les développeurs cherchant à affiner leurs agents d'intelligence artificielle. Cependant, cela peut nécessiter une évolution ou une intégration supplémentaire pour gérer des scénarios et des incertitudes plus complexes.
Répartition des critères
- Évaluation et classement des agents
- Conversations et gestion de scenarios simulées
- Intégration et récupération de base de connaissances
- Gestion de prompts mondiaux pour des situations complexes
- Outils d'analyse et d'optimisation
- Intégration avec SaaS et API
Sur le site du projet AI2AI, les utilisateurs peuvent observer des conversations en temps réel entre deux agents IA. Pour lancer une interaction, ils doivent créer deux entités, leur attribuer un prompt, un contexte, une voix et un genre, puis sélectionner un modèle de langage. L’interaction peut être démarrée, enregistrée et partagée avec d’autres utilisateurs du site. Des exemples d’interactions sont disponibles, illustrant divers scénarios tels que la séduction, la colère, la curiosité et les pitchs de vente. Les nouveaux utilisateurs doivent s’inscrire et reçoivent 1 $ de crédit pour explorer la plateforme. La tarification se fait à l’heure, à partir de 1 centime par minute.
Répartition des critères
- Visualisation en temps réel du dialogue IA-IA
- Deux entités IA distinctes en conversation
- Expérience utilisateur d’observation, sans intervention
- Exposition du comportement émergent des IA
- Interface accessible via navigateur
Arize AI
Une plateforme d'observabilité IA et d'évaluation LLM qui aide les développeurs IA et les data scientists à surveiller, dépanner et améliorer la performance…
Arize AI est une plateforme de mise en observation de l'IA et d'évaluation des modèles LLM. Elle aide les développeurs d'IA et les scientifiques des données à surveiller, à diagnostiquer et à améliorer le rendement de leurs modèles d'IA. La plateforme fournit des outils pour identifier les problèmes et proposer des solutions, aidant les utilisateurs à améliorer l'exactitude et la fiabilité de leurs modèles. Arize AI est conçue pour les développeurs d'IA et les scientifiques des données qui doivent optimiser le rendement de leurs modèles. Les capacités de la plateforme incluent la surveillance et le dépannage, permettant aux utilisateurs de repérer rapidement et de résoudre les problèmes. Arize AI fournit également des fonctionnalités d'évaluation et d'amélioration du rendement modulaire, permettant aux utilisateurs de rationaliser leurs modèles au fil du temps. En utilisant Arize AI, les utilisateurs peuvent s'assurer que leurs modèles d'IA fonctionnent à leur optimum, entraînant des prises de décision et des résultats meilleurs. Le focus de la plateforme sur la mise en observation et sur l'évaluation la démarque des autres outils de développement d'IA, la rendant un ressource précieuse pour ceux qui travaillent avec des modèles de langage de grande taille et d'autres systèmes d'IA complexes.
Répartition des critères
- Surveillance des modèles de ML.
- Dépannage et identification des problèmes.
- Génération de corrections proposées.
- Évaluation des performances du modèle.
- Évaluation et optimisation du modèle LLM.
Edwin AI
Agent de l'intelligence artificielle pour les opérations informatiques qui accélère la détection, le triage et la résolution des incidents.
L'Edwin AI est un agent de l'intelligence artificielle pour les opérations informatiques conçu pour accélérer la détection, le triage et la résolution des incidents. Il fournit une plateforme centralisée pour les équipes informatiques pour investiguer les incidents, comprendre leur impact, trouver ou générer des correctifs, et les appliquer dans les outils existants sans avoir besoin de passer d'un système à un autre. Le Edwin AI corrèle les alertes, identifie les causes profondes, et initiate des remédiations automatiquement, à partir de la première alerte jusqu'à la résolution vérifiée. Il utilise des modèles historiques et des données d'observabilité pour prédire et prévenir les panne. L'outil intègre avec plus de 3 000 outils au sein de l'observabilité, du APM, de la sécurité et de la CMDB, permettant des insights immédiats et actuels, et éliminant les silos. Une étude de Forrester a constaté que l'Edwin AI a fourni un RIO de 313% pour une société composite, avec un délai de remboursement de moins de 6 mois.
Répartition des critères
- Correlation des alarmes et réduction du bruit
- Suggestions de causes profondes guidées par l'IA
- Résume des incidents dans un langage naturel
- Intégrations avec les plateformes ITSM et d'observabilité
- Flux de travail de triage automatisé
- Enrichissement des connaissances à partir des incidents passés
FoundryAI
Créez, évaluez et améliorez des agents d'intelligence artificielle pour l'autonomisation des entreprises
FoundryAI est une plate-forme de développement axée sur la création d'agents d'intelligence artificielle qui gèrent des flux de travail commerciaux réels. Elle combine des outils de conception d'agents, de test et d'amélioration continue pour permettre aux équipes de passer d'un prototype à une production sans avoir à assembler des systèmes distincts. La plateforme met l'accent sur l'évaluation, offrant aux développeurs des moyens de mesurer les performances des agents par rapport à des tâches définies et d'affiner le comportement au fil du temps. Cela la rend adaptée aux organisations qui automatisent le support client, les opérations internes ou les travaux de connaissance répétitifs où la fiabilité est importante. FoundryAI s'adresse aux équipes techniques qui ont besoin de plus de contrôle que ce que les no-code builders proposent, mais qui souhaitent une itération plus rapide que la construction d'agents entièrement à partir de zéro.
Répartition des critères
- Environnement de construction d'agent
- Outils d'évaluation et de test
- Suivi des performances
- Support d'automatisation des workflows
- Boucles d'amélioration itérative
- Intégration avec les systèmes métier
Helicone AI
Plateforme d'observabilité complète pour surveiller, debuguer et améliorer les applications de production LLM.
Helicone AI est une plateforme d'observabilité centrée sur les développeurs, construite spécifiquement pour les applications alimentées par des modèles de langage à grande échelle. Elle capture les requêtes, les réponses, les coûts et la latence auprès de différents fournisseurs, offrant aux équipes d'ingénierie une vue unifiée de la façon dont leurs fonctionnalités LLM se comportent en production. Au-delà de la journalisation, l'outil propose des outils pour déboguer les invites, tracer les flux de travail d'agents multi-étapes, exécuter des évaluations et suivre l'utilisation au niveau de l'utilisateur. Les équipes peuvent identifier les régressions, contrôler les dépenses et itérer sur les invites avec des données plutôt que des supputations. Il s'intègre aux fournisseurs de modèles et aux frameworks populaires via un proxy léger ou une journalisation asynchrone, permettant ainsi une intégration simple aux piles existantes sans modifications majeures du code.
Répartition des critères
- Log de requête et de réponse
- Suivi et tracking des coûts et des jetons
- Gestion et versionnage des requêtes
- Suivi et débogage des agents et des sessions
- Notions d'évaluation personnalisées et tableaux de bord
- Notions d'analyse utilisateur et limite de vitesse
llm scout
Surveillez comment votre marque apparaît sur ChatGPT, Claude, Perplexity et les Aperçus IA de Google.
LLM Scout est un outil de surveillance de marque conçu pour l'ère de la recherche générative. Il suit comment votre entreprise, vos produits et vos concurrents sont mentionnés sur les principaux assistants IA et moteurs de réponses, offrant aux équipes marketing et SEO une visibilité sur un canal que les outils d'analyse traditionnels négligent. La plateforme exécute des prompts récurrents contre des systèmes tels que ChatGPT, Claude, Perplexity et les Aperçus IA de Google, puis rapporte la part de voix, le sentiment, les sources de citations et les évolutions dans le temps. Les équipes peuvent utiliser ces informations pour affiner leur stratégie de contenu, identifier les lacunes où les concurrents sont recommandés à la place, et mesurer l'impact des efforts d'optimisation visant les grands modèles linguistiques.
Répartition des critères
- Suivi des mentions de la marque et des concurrents
- Surveillance sur ChatGPT, Claude, Perplexity et les Aperçus IA
- Analyse du sentiment et de la part de voix
- Visibilité des citations et des sources
- Suivi des prompts personnalisés
- Rapport des tendances historiques