지난 배틀 · 2024-03-14 UTC
Software Testing (QA) Agents 대결 — 2024년 3월 14일
Software Testing (QA) Agents 카테고리에서. 4개의 참가자에 걸쳐 12 표시가 배치되었습니다. Diffblue Cover이(가) 왕좌를 차지했습니다.
최종 순위
출전 라인업
참가자들
이 배틀에 참가한 모든 도구의 프로필, 최종 점수순으로 순위가 매겨졌습니다.
Diffblue Cover는 100% 정확성을 보장하는 자바 유닛 테스트를 생성 및 유지하는 자동화 AI 에이전트입니다. 코드베이스 전체를 자동으로 처리하여 높은 품질의 테스트 결과를 생성하며, 개발자가 수동적으로 테스트를 만들거나 지속적으로 프로미팅이나 콘텍스트 전환을 하여야 하는 필요성을 제로하고 AI 코딩 도구와 협동해 통합 테스트 커버레지를 완비할 수 있습니다. 이 에이전트는 레거시 코드베이스도 포함하여 완전 신뢰성을 가진 테스트를 생성하며, 지속적인 프롬프팅이나 콘텍스트 전환 없이 작업할 수 있도록 해줍니다. Diffblue Cover는 결과 기반 가격 책정으로 가치를 생성할 것에 따라 스케일업하여 제공합니다. 이는 현대화된 레거시 코드를 신뢰하면서 기존 코드를 개선하고 싶어하는 기업들에 가장 인기 있는 솔루션이 되며, 코드베이스의 안정성 및 신뢰성을 보장하여 자원 효율성을 증진할 수 있습니다.
평가 기준 분해
- 자율 테스트 생성
- 전반적 테스트 커버리지
- 기존 코어베이스 지원
- 결과 기반定價
- AI 코딩 도구 플랫폼 호환
Skill Scanner은 AI 에이전트 스킬 및 플러그인에 대한 보안 위험 발견을 위해 이력 수집 전에 개발된 오픈 소스 스태틱 분석도구입니다. 이 도구는 스킬 맵, 지시문 및 첨부된 코드를 스캔하여 주입된 명령어, 숨겨진 정보 탈출 시도 및 에이전트 또는 유저의 정보를 훼손할 수 있는 의심스러운 코드 동형을 발견합니다. 결과는 SARIF 형식으로 나중에 CI 파이프라인, 코드 리뷰 워크플로우, 또는 GitHub code scanning과 같은 보안 대시보드에 결과를 통합하는 것이 쉬워 집니다. 개발자와 보안 팀은 이 기능을 이용하여 외부 라이브러리 검사, 스스로의 라이브러리를 강화, 에이전트 생태계의 기본 체크 항목을 강제하는 데 사용할 수 있습니다. 그는 프로젝트가 오픈 소스인 만큼, 규칙과 감지기는 조직 특정 위협 모델 및 정책을 조정하거나 커스터마이즈할 수 있습니다.
평가 기준 분해
- Prompt injection 패턴 감지
- 데이터 탈출 유추
- 악성 코드 패턴 검색
- SARIF 리포트 출력
- CI/CD 파이프 라인 통합
- 확장 가능 규칙 집합
PentAGI는 오픈 소스인 자가주도 침입테스팅 에이전트로 도커 샌드 박스 내에서 20개 이상의 보안 도구를 실행합니다. 이를 통해 인공 지능 기술을 활용하여 보안 테스트를 자동화합니다. 이 툴은 정보 보안 전문가 및 연구원들에게 강력하고 유연한 솔루션을 제공하기 위해 설계되었습니다. 주요 기능은 샌드 박스 환경, 자동적인 태스크 계획, 다양한 도구 및 검색 시스템과의 통합입니다. PentAGI는 위임 시스템, toàn面的 모니터링 및 세부 보고서도 제공합니다.
평가 기준 분해
- sandboxed Docker 환경
- 20개 이상의 전문 보안 도구가 내장된(suite)
- 스마트 메모리 시스템(long-term storage)
- Knowledge Graph Integration
- built-in 웹 브라우저를 통해 web Intelligence
- 외부 검색 시스템 통합(integration)
Keploy는 open-source AI-powered testing 플랫폼입니다. eBPF를 사용하여 실제 API 트래픽을 포착하고 CI에서 결정적 회귀 테스트, 자동 생성된 매크로 및 프로덕션_like sandbox로 재생합니다. 코드 변경 없이. 이 플랫폼은 모든 언어 (Go, Java, Python, Node.js, Rust, PHP, Ruby)와 모든 프레임워크를 supports합니다. 관리형 클라우드에서 고급 기능이 제공됩니다. Keploy은 무료 티어를 제공하며 개발자가 매달 30개의 테스트 스위트와 5개의 AI 크레딧으로 플랫폼을 시험해 볼 수 있습니다. 또한 Pro 티어($24 사용자/월)와 Enterprise 티어에 대해 지원하고 SOC2/SLA가 있습니다. OSS 코어는 무제한으로 자신이 호스트 할 수 있는 무료입니다. 플랫폼은 개발자들이 실제 API 트래픽에서回귀식(레그레시베인 테스트) 테스트를 녹음하고 CI로 격리된 샌드박스에서 재생할 수 있도록 지원합니다. 이 프로세스는 밀리초에 불과하여 전통적인 테스트 방법보다 훨씬 빠릅니다. Keploy의 기능에는 다양한 언어와 프레임워크를 지원하는 능력, 코드 수정 없이 자동적으로 mock을 생성하도록 해주고, 프로덕션과 동일한 환경을 모사하여 테스트할 수 있는沙盒를 유지하는 능력이 있습니다
평가 기준 분해
- 자동 모의 기법
- 실제 배포 환경과 같이 만들어진 사전 테스트 환경
- 지속性 테스트
- API 트래픽 캡처에 대한 eBPF 지원
- 어떤 언어, 프레임워크라도 지원