Минула битва · 2024-07-18 UTC
Software Testing (QA) Agents Протистояння — 18 липня 2024 р.
З категорії Software Testing (QA) Agents. 16 позначок поставлено серед 5 бійців. PentAGI здобув корону.
Підсумкові результати
Учасники
Бійці
Профілі кожного інструмента, який змагався в цій битві, ранжовані за підсумковим балом.

PentAGI
PentAGI – відкрито‑кодові автономні агенти для penetration testing, що запускають понад 20 інструментів безпеки у ізольованому Docker‑пісочнику з пам’яттю та веб‑інтелектом.

PentAGI — це відкрито‑кодовий автономний агент для penetration testing, який запускає понад 20 інструментів безпеки у ізольованому Docker‑пісочнику. Він використовує технології штучного інтелекту для автоматизації тестування безпеки. Цей інструмент розроблений для фахівців з інформаційної безпеки та дослідників, які потребують потужного та гнучкого рішення для проведення penetration тестів. Ключові особливості включають ізольоване середовище, автоматизоване планування завдань та інтеграцію з різними інструментами та системами пошуку. PentAGI також пропонує систему делегування, комплексний моніторинг та докладне звітування.
Розподіл критеріїв
- Ізольоване середовище Docker
- Вбудована колекція понад 20 професійних інструментів безпеки
- Система розумної пам'яті для довгострокового зберігання
- Інтеграція графу знань
- Веб‑інтелект через вбудований браузер
- Інтеграція з зовнішніми системами пошуку

Skill Scanner
Відкритий сканер безпеки, що перевіряє навички агентів AI на наявність підстановки запитів і шкідливих патернів.

Skill Scanner є відкритим джерелом інструментом статичної аналітики, призначеним для осмотру даних спеціальностей AI-агентів і додатків щодо існування ризиків безпеки перед їх розгортанням. Інструмент здійснює пошук файлів данихManifest, інструкцій, та вставлених кодів на наявність ознак спроб введення викликів, незапланованих спроб виведення даних та підозрілих візуальних шаблонів, які можуть загрозити агенту чи його користувачам. Результати видаляються в форматі SARIF, що зроблює інтеграцію виявлених даних в процеси CI, тексти ревю коду або панелі безпеки, наприклад GitHub code scanning. Власниками розробками та командами безпеки надається можливість вивчити треті партнерські вміння, зміцнити власні та виконувати базові перевірки у екосистемі агентів. Бажано відкритий код проекту забезпечує можливість розширення або індивідуалізації правил та виявлення для реалізації організаційно-підприємницьких моделей загроз та політик.
Розподіл критеріїв
- Виявлення патернів підстановки запитів
- Гевристика витоку даних
- Сканування патернів шкідливого коду
- Вивід звітів у форматі SARIF
- Інтеграція з CI/CD пайплайнами
- Розширювана набір правил

Diffblue Cover
Незалежний штучний інтелект, що викликає та підтримує Юніт-тести Java масштабним чином із гарантованою точністю.

Diffblue Cover - незалежний штучний інтелект, що викликає та підтримує Юніт-тести Java масштабним чином із гарантованою точністю. Він координує інструменти штучного інтелекту для створення повного та високоякісного тестового покриття, зменшуючи необхідність інтервентів розробників та手шевого створення випробувань. Агент обробляє весь кодбаз підкресово включно з історичним кодбаз, щоб створити надійні випробування без необхідності постійного запитання чи змінох обстановки працювання. Вона має пропозицію виходу, яка зростає відповідно до згенерованих цінності, роблячи його привабливим рішенням для підприємств, які бажають сучасізувати історичний код з вірою.
Розподіл критеріїв
- автономне створення випробувань
- повне покриття випробуванням
- підтримка історичного кодбазу
- пріцікування виходу, яке зростає відповідно до цінності згенерованої якості
- зв'язкість із платформами AI кодування

Flowtest AI
Агент штучної інтелекту, який моніторить вебсайти шляхом симуляції справжньої взаємодії користувачів, щоб виявляти проблеми та забезпечувати наявність онлайн.

Flowtest AI — це інструмент моніторингу, який працює на базі штучного інтелекту і призначений для симуляції реальних взаємодій користувачів із веб‑сайтами. Його основна функція — виявляти проблеми та забезпечувати безперервну роботу веб‑застосунків, імітуючи способи, якими користувачі взаємодіють із сайтами. Такий підхід дозволяє проводити комплексне тестування, яке виходить за межі традиційних методів моніторингу. Flowtest AI, ймовірно, орієнтований на бізнеси та організації, які сильно покладаються на свою онлайн‑присутність, надаючи їм інсайти щодо продуктивності та надійності їхніх веб‑ресурсів. Завдяки виявленню потенційних проблем ще до того, як вони вплинуть на користувачів, Flowtest AI допомагає підтримувати безперебійний користувацький досвід. Інструмент працює, вивчаючи поведінку реальних користувачів, а потім відтворюючи ці взаємодії для тестування на помилки, простої чи інші проблеми, які можуть вплинути на користувацький досвід. Порівняно з іншими рішеннями моніторингу, використання AI у Flowtest AI для симуляції взаємодій користувачів забезпечує більш тонке розуміння продуктивності веб‑сайту. Однак конкретика його можливостей і порівняння з іншими інструментами на ринку не добре задокументовані. Потенційні переваги використання Flowtest AI включають підвищену надійність і продуктивність веб‑сайту, покращений користувацький досвід та проактивне виявлення проблем. З іншого боку, обмеження та можливі недоліки Flowtest AI не зрозумілі без більш детальної інформації про його функції та механізми роботи. Незважаючи на це, інструменти типу Flowtest AI представляють інноваційний підхід до моніторингу веб‑сайтів, підкреслюючи зростаюче значення AI у забезпеченні якості та надійності онлайн‑послуг.
Розподіл критеріїв

Keploy
Відкритий джерельний AI-агент, який автоматично створює та підтримує юніт, інтеграційні та API-тести з моками

Кеплоє є відкритим вихідним кодом, багатоплатформовим, програмно-технологічним засобом проведення перевірок, котрий захоплює справжній трафік API засобами eBPF та відтворює його у режимі CONTINUOUS INTEGRATION у вигляді детермінованих випробувань на регресію, самостворених моків та середовищ із продуктивною подібністю зі змінами в коді жодних. Воно підтримує будь-яку мову програмування (Go, Java, Python, Node.js, Rust, PHP, Ruby) та будь-які фреймворки. Впроваджені вихідні можливості також доступні в обумовленому хмарі. Переглянути можливість платформи можна за безплатною версією, яка пропонує до 30 підмішувань на місяць та 5 кредитів AI. Платформа також доступна в професійній версії ($24 на користувача на місяць) та бізнес-версії з індивідуальним підтриманням та сертифікацією SOC2/SLAs. Основний код OSS можна використовувати безкоштовно протягом необмеженого періоду часу для самостійного розміщення. Платформа забезпечує розробникам можливість записувати регресійні випробування зі справжньої трафіку API та відігравати їх у середовищі CI у вигляді ізольованих пісочниці. Этот процес триває в тисячу тисячної долі секунди, що набагато швидше за традиційні методи тестування. Платформа Кеплой має ряд можливостей, включаючи підтримку будь-якої мови та рамової бібліотеки, генерацію автоматичних моків та створення продуктових сандбоків без будь-яких змін в коді.
Розподіл критеріїв
- Автоматичні моки
- Виробнично-подібні сандбоксі
- Перевірки регресії
- Захоплення справжнього потоку API з допомогою eBPF
- Підтримка будь-якої мови та бібліотеки




