Minulá bitva · 2024-03-14 UTC
Software Testing (QA) Agents Souboj — 14. března 2024
Z kategorie Software Testing (QA) Agents. 12 hlasů umístěno napříč 4 bojovníky. Diffblue Cover získal korunu.
Konečné pořadí
Sestava
Bojovníci
Profily každého nástroje, který soutěžil v této bitvě, seřazené podle jejich konečného skóre.

Diffblue Cover
Samostátnej autonomní AI agent, který generuje a udržuje Java jednotné testy ve velkém měřítku s garantovanou přesností.

Diffblue Cover je autonomní AI agent, který generuje a udržuje Java jednotné testy ve velkém měřítku s garantovanou přesností. Orchestrací AI kódovacích nástrojů vytváří komplexní vysoce kvalitní testovací pokrytí, snižuje potřebu zásahů vývojářů a manuální tvorby testů. Agent zpracovává celou kódovou bázi samoobslužně, včetně bází s historicky vyvinutým kódem, a produkuje spolehlivé testy bez nutnosti konstantního promptingu a přepínání kontextu. Nabízí odměňování na základě výsledku, které se měří podle vytvářené hodnoty, a tím nabízí atraktivní řešení pro podniky chtějící modernizovat historicky vyvinuté kódy se spolehlivostí.
Розбивка критеріїв
- Samostátelné generování testů
- Koncese testování
- Podpora kódových bází s historicky vyvinutým kódem
- Odměňování na základě výsledku
- Zaměření na kompatibilitu se SaaS AI kódovacích nástroji

Skill Scanner
Otevřený zdroj bezpečnostní skener, který prověřuje umělé agenty pro vstřikování promptů a podrážděné vzory.

Skill Scanner je open-source nástroj pro statickou analýzu vytvořený k inspekci dovedností a pluginů AI agentů z hlediska bezpečnostních rizik před jejich nasazením. Skenuje manifestační soubory dovedností, instrukce a přibalený kód pro známky vkládání výzev, skrytých pokusů o exfiltraci dat a podezřelých vzorů kódu, které by mohly ohrozit agenta nebo jeho uživatele. Výsledky jsou vydávány ve formátu SARIF, což umožňuje snadno integrovat nálezy do CI pipelineů, pracovních postupů kontroly kódu nebo bezpečnostních dashboardů, jako je například GitHub code scanning. Vývojáři a bezpečnostní týmy jej mohou použít k prověření dovedností třetích stran, posílení vlastních dovedností a vynucení základních kontrol v celém ekosystému agentů. Protože je projekt open source, pravidla a detektory lze rozšířit nebo přizpůsobit tak, aby vyhovovaly specifickým modelům hrozeb a zásadám organizace.
Розбивка критеріїв
- Detection vzoru vstřikování promptů
- Heuristiky úniku dat
- Štíhlý skánování kódových vzorů
- Výstup zprávy SARIF
- Integrace CI/CD pipeline
- Prodloužitelný soubor pravidel

PentAGI
Otevřená source autonomní agenty pro penetraci testování, které běží na 20+ bezpečnostních účinných nástrojů v izolovaném kontejnerovém Docker sandboxu s pamětí a internetovou inteligencí.

PentAGI je otevřená source autonomní jednotka pro penetraci testování, která běží 20+ bezpečnostních nástrojů v izolovaném kontejnerovém Docker sandboxu. Zásobuje umělou inteligencí k automatizování testování zabezpečení. Nástroj je navržen pro bezpečnostních profesionály a vědce, kteří potřebují mocného a flexibilního řešení pro provedení penetrace testů. Hlavní funkce zahrnují uzamčený environment, automatizovaný plánování úloh a integraci s různými nástroji a vyhledávacími systémy. PentAGI nabízí také systém delegace, komplexní monitorování a podrobný reporting.
Розбивка критеріїв
- Uzamčený kontejnerový Docker environment
- Vestavěná suite 20+ profesionálních bezpečnostních nástrojů
- Smart paměťový systém pro dlouhodobou uloženou paměť
- Soustava znalostí integrace
- Internetová inteligence prostřednictvím vestavěného webového prohlížeče
- Integrace s vnějšími vyhledávacími systémy

Keploy
Otevřený, open-source AI agens, který automaticky generuje a udržuje jednotné, integrační a tests API s fíkry.

Keploy je open-source platforma pro testování poháněná umělou inteligencí, která zachytává reálný provoz API pomocí eBPF a přehrává jej v CI jako deterministické regresní testy, automaticky generované mocky a produkční sandboxy bez změn kódu. Podporuje jakýkoli jazyk (Go, Java, Python, Node.js, Rust, PHP, Ruby) a jakékoli frameworky. Pokročilé funkce jsou dostupné prostřednictvím spravovaného cloudu. Keploy nabízí bezplatný tarif, kde mohou vývojáři vyzkoušet platformu s 30 testovacími sadami/měsíc a 5 AI kredity. Platforma je také dostupná v Pro tarifu (24 $ za uživatele/měsíc) a Enterprise tarifu s vlastním supportem a SOC2/SLAs. OSS jádro zůstává zdarma samo-hostované na dobu neurčitou. Platforma umožňuje vývojářům nahrávat regresní testy z reálného provozu API a přehrávat je do CI jako izolované sandboxy. Tento proces trvá milisekundy, což je mnohem rychlejší než tradiční metody testování. Funkce Keploy zahrnují podporu libovolného jazyka a frameworku, generování automatických mocků a udržování sandboxů podobných produkci bez jakýchkoli změn kódu.
Розбивка критеріїв
- Fíkování auto-vytvořené
- Skříně typu produkční s nulovými změnami kódu
- Testy regrese
- Získávání trafficu API pomocí eBPF
- Podpora jakékoli jazyky a frameworky



