Minulý súboj · 2024-03-14 UTC
Software Testing (QA) Agents Súboj — 14. marca 2024
Z kategórie Software Testing (QA) Agents. 12 body udelených medzi 4 bojovníkov. Diffblue Cover získal korunu.
Konečné poradie
Zostava
Bojovníci
Profily každého nástroja, ktorý súťažil v tomto súboji, zoradené podľa ich konečného skóre.
Diffblue Cover
Autonomný AI agent, ktorý generuje a udržiava Java jednotkové testy v rozsahu s garantovanou presnosťou.
Diffblue Cover je autonomný AI agent, ktorý generuje a udržiava Java jednotkové testy v rozsahu s garantovanou presnosťou. Koordinuje AI kódovacie nástroje tak, aby vytvoril komplexné, vysoko kvalitné testovacie pokrytie, čím znižuje potrebu zásahu vývojárov a manuálnej tvorby testov. Agent spracováva celý kódový základ samostatne, vrátane legacy kódových základov, aby vytvoril spoľahlivé testy bez potreby neustáleho zadávania požiadaviek alebo prepínania kontextu. Ponúka cenovú politiku založenú na výsledkoch, ktorá rastie s hodnotou vytvorenou, čo z neho robí atraktívne riešenie pre podniky, ktoré chcú modernizovať legacy kód s istotou.
Rozdelenie kritérií
- Autonomná generácia testov
- Komplexné pokrytie testov
- Podpora legacy kódových základov
- Cenovanie založené na výsledkoch
- Kompatibilita s platformami AI kódovacích nástrojov
Skill Scanner
Open-source bezpečnostný skener, ktorý kontroluje zručnosti AI agentov na vstrekovanie výziev a škodlivé vzory.
Skill Scanner je open-source nástroj statickej analýzy postavený na kontrolu zručností a doplnkov AI agentov pre bezpečnostné riziká pred ich nasadením. Skenuje manifesty zručností, inštrukcie a zbalený kód na známky vstrekovania výziev, pokusy o skryté exfiltrovanie dát a podozrivé vzory kódu, ktoré by mohli ohroziť agenta alebo jeho používateľov. Výsledky sú vydané vo formáte SARIF, čo umožňuje jednoduchú integráciu nálezov do CI pipelineov, pracovných postupov kontroly kódu alebo bezpečnostných dashboardov, ako je GitHub code scanning. Vývojári a bezpečnostné tímy ho môžu použiť na preverovanie zručností tretích strán, posilnenie svojich vlastných zručností a vynucovanie základných kontrol v celom ekosystéme agentov. Pretože projekt je open source, pravidlá a detektory môžu byť rozšírené alebo prispôsobené na základe organizačných modelov hrozieb a politík.
Rozdelenie kritérií
- Detekcia vzorov vstrekovania výziev
- Heuristika exfiltrovania dát
- Skenerovanie škodlivých vzorov kódu
- Výstup správy vo formáte SARIF
- Integracia do CI/CD pipelineov
- Rozšíriteľná sada pravidiel
PentAGI
Open-source autonómne agenty na penetračné testovanie, ktoré spúšťajú viac ako 20 bezpečnostných nástrojov v izolovanom Docker sandboxe s pamäťou a webovou inteligenciou.
PentAGI je open-source autonómny agent na penetračné testovanie, ktorý spúšťa viac ako 20 bezpečnostných nástrojov v izolovanom Docker sandboxe. Využíva technológie umelej inteligencie na automatizáciu bezpečnostného testovania. Nástroj je určený pre profesionálov a výskumníkov v oblasti informačnej bezpečnosti, ktorí potrebujú výkonné a flexibilné riešenie na vykonávanie penetračných testov. Kľúčové funkcie zahŕňajú sandboxované prostredie, automatizované plánovanie úloh a integráciu s rôznymi nástrojmi a vyhľadávacími systémami. PentAGI tiež poskytuje systém delegovania, komplexné monitorovanie a podrobné reportovanie.
Rozdelenie kritérií
- Sandboxované Docker prostredie
- Vstavaná sada viac ako 20 profesionálnych bezpečnostných nástrojov
- Inteligentný pamäťový systém pre dlhodobé ukladanie
- Integrácia znalostného grafu
- Webová inteligencia prostredníctvom vstavaného prehliadača
- Integrácia externých vyhľadávacích systémov
Keploy
Open-source AI agent, ktorý automaticky generuje a udržuje jednotkové, integračné a API testy s mockmi.
Keploy je open-source platforma na testovanie podporovaná umelou inteligenciou, ktorá zachytáva reálny prenos API pomocou eBPF a prehráva ho v CI ako deterministické regresné testy, automaticky vygenerované mocky a produkčné sandboxy bez potreby zmien kódu. Podporuje ľubovoľný jazyk (Go, Java, Python, Node.js, Rust, PHP, Ruby) a ľubovoľný framework. Pokročilé funkcie sú dostupné prostredníctvom spravovaného cloudu. Keploy ponúka bezplatnú úroveň, kde môžu vývojári vyskúšať platformu s 30 testovacími sadami/mesiac a 5 kreditmi AI. Platforma je tiež dostupná v úrovni Pro (24 dolárov za používateľa/mesiac) a úrovni Enterprise s vlastnou podporou a SOC2/SLAs. Základ OSS zostáva zadarmo pre samo-hostovanie na dobu neurčitú. Platforma umožňuje vývojárom zaznamenávať regresné testy z reálneho API trafficu a prehrávať ich do CI ako izolované sandboxy. Tento proces trvá milisekundy, čo ho robí oveľa rýchlejším ako tradičné metódy testovania. Funkcie Keploy zahŕňajú podporu ľubovoľného jazyka a frameworku, generovanie auto-mockov a udržiavanie sandboxov podobných produkcii bez akýchkoľvek zmien kódu.
Rozdelenie kritérií
- Automaticky vygenerované mocky
- Produkčné sandboxy
- Regresné testy
- Zachytávanie API trafficu pomocou eBPF
- Podpora akéhokoľvek jazyka a frameworku