Bataille passée · 2024-03-14 UTC
Software Testing (QA) Agents Duel — 14 mars 2024
De la catégorie Software Testing (QA) Agents. 12 marques placées sur 4 combattants. Diffblue Cover a décroché la couronne.
Classement final
Le casting
Les combattants
Profils de chaque outil ayant concouru dans cette bataille, classés par leur score final.

Diffblue Cover
Un agent AI autonome qui génére et maintient les tests unitaires Java à l'échelle avec une précision garantie.

Diffblue Cover est un agent AI autonome qui génère et maintient les tests unitaires Java à l'échelle avec une précision garantie. Il orchestre des outils de codage AI pour créer une couverture de tests approfondie et de haute qualité, réduisant ainsi la nécessité d'intervention du développeur et de la création de tests manuelle. L'agent traite l'ensemble de la base de code autonomement, y compris les bases de code évoluées, pour produire des tests fiables sans besoin de sollicitations continues ni de changements de contexte. Il propose un tarification basée sur les résultats qui évolue en fonction de la valeur générée, le rendant un choix attrayant pour les entreprises cherchant à moderniser leur code évolué avec confiance.
Répartition des critères
- Génération autonome de tests
- Couverture de tests complète
- Compatibilité avec les bases de code évoluées
- Tarification basée sur les résultats
- Compatibilité de la plateforme avec les outils de codage AI

Skill Scanner
Scanner de sécurité open-source qui audit les compétences d'agents AI pour les injecteurs de prompt et les modèles malveillants.

Skill Scanner est un outil d'analyse statique open-source conçu pour inspecter les compétences et les plugins d'agents IA à la recherche de risques de sécurité avant leur déploiement. Il analyse les manifestes de compétences, les instructions et le code regroupé à la recherche de signes d'injection de prompts, de tentatives de fuite de données cachées et de modèles de code suspects susceptibles de compromettre un agent ou ses utilisateurs. Les résultats sont émis au format SARIF, ce qui permet d'intégrer facilement les résultats dans les pipelines CI, les flux de travail de révision de code ou les tableaux de bord de sécurité comme la numérisation de code GitHub. Les développeurs et les équipes de sécurité peuvent l'utiliser pour vérifier les compétences tierces, renforcer les leurs et appliquer des vérifications de base à l'échelle d'un écosystème d'agents. Puisque le projet est open source, les règles et les détecteurs peuvent être étendus ou personnalisés pour s'adapter aux modèles de menaces et aux politiques spécifiques à l'organisation.
Répartition des critères
- Détection des modèles d'injection de prompt
- Détection heuristique d'exfiltration de données
- Détection de modèles de code malveillants
- Sortie de rapport SARIF
- Intégration dans les pipelines CI/CD
- Ensemble de règles extensible

PentAGI
Agents d'assaut autonome à partir d'open-source qui exécutent plus de 20 outils de sécurité dans un sand-box Docker isolé avec intelligences de mémoire et web.

PentAGI est un agent d'assaut autonome à partir d'open-source qui exécute plus de 20 outils de sécurité dans un sand-box Docker isolé. Il exploite des technologies d'intelligence artificielle pour automatiser les tests de sécurité. L'outil est conçu pour les professionnels de la sécurité de l'information et les chercheurs qui ont besoin d'une solution puissante et flexible pour les tests d'assaut. Ces fonctionnalités clés incluent un environnement sandbox, la planification automatique de tâches et l'intégration avec divers outils et systèmes de recherche. PentAGI propose également un système de délégation, la surveillance exhaustive et les rapports détaillés.
Répartition des critères
- Environnement sandboxé Docker
- Paquet incorporé de plus de 20 outils professionnels de sécurité
- Système d'enregistrement intelligent de mémoire pour le stockage à long terme
- Intégration de la graphique de connaissances
- Intelligence Web via navigateur intégré
- Intégration des systèmes de recherche externes

Keploy
Un agent IA open-source qui auto-génère et maintient des tests unitaires, d'intégration et d'API avec des mocks.

Keploy est une plateforme de tests alimentée par l'IA, open-source, qui capture le trafic API réel avec eBPF et le rejouera en CI sous forme de tests de régression déterministes, de mocks auto-générés et de sandboxes de production-like sans changement de code. Elle prend en charge tout langage (Go, Java, Python, Node.js, Rust, PHP, Ruby) et tout framework. Des fonctionnalités avancées sont disponibles via le cloud managé. Keploy propose un forfait gratuit où les développeurs peuvent essayer la plateforme avec 30 jeux de tests/mois et 5 crédits IA. La plateforme est également disponible dans un forfait Pro (24 $ par utilisateur/mois) et un forfait Entreprise avec un support personnalisé et des SOC2/SLAs. Le noyau Open Source reste gratuit pour une auto-hébergement indéfiniment. La plateforme permet aux développeurs d'enregistrer des tests de régression à partir du trafic API réel et de les rejouer dans CI sous forme de sandbox isolés. Ce processus prend des millisecondes, ce qui le rend beaucoup plus rapide que les méthodes de test traditionnelles. Les fonctionnalités de Keploy comprennent la capacité de supporter n'importe quel langage et framework, de générer des auto-mocks, et de maintenir des environnements sandbox similaires à la production sans aucune modification de code.
Répartition des critères
- Mocks auto-générés
- Sandboxs similaires à la production
- Tests de régression
- Capture du trafic API avec eBPF
- Prise en charge de n'importe quel langage et framework



