지난 배틀 · 2025-12-12 UTC
Agent Development 대결 — 2025년 12월 12일
Agent Development 카테고리에서. 9개의 참가자에 걸쳐 39 표시가 배치되었습니다. Flowwise AI이(가) 왕좌를 차지했습니다.
최종 순위
출전 라인업
참가자들
이 배틀에 참가한 모든 도구의 프로필, 최종 점수순으로 순위가 매겨졌습니다.
Flowwise AI는 오픈 소스 저코딩 플랫폼으로 개발자 및 팀이 시각적 노드 기반 인터페이스를 통해 LLM(딥 러닝 언어 모델) 보강 애플리케이션을 설계할 수 있도록 해줍니다. 연속적인 boilerplate(보일러 플레이트) 대신, 사용자는 메인 디스플레이(Canvas)에 모델, 프롬프트, 메모리, 벡터 저장소, 도구와 같은 컴포넌트를 연결하여 채팅봇, 에이전트 및 복원 파이프 라인을 조립할 수 있습니다. "Flowwise AI는 LlamaIndex 및 LangChain과 같은 인기 프레임워크 위에 구축되어 다양한 LLM 공급자, 임베딩 및 데이터 소스를 지원합니다. 완성된 흐름을 API나 임베드드 위젯으로 배포하도록할 수 있습니다. 이는 내부 툴에 대한 프로토타입으로부터 생산 기능까지 배포하는 데 실용적으로 사용할 수 있습니다." 제새일UCE14제을 SaaS준소 UCE14주세었 UC548로시다 UB418장UBE44뇁을 UB098제 UCE0D직정영니다. '}
평가 기준 분해
- 노드 기반 시각 편집기로 LLM 워크플로우를 만들 수 있습니다.
- LangChain과 LlamaIndex 컴포넌트를 지원합니다.
- 내장 에이전트, 메모리, 도구 통합을 제공합니다.
- 벡터 데이터베이스와 임베딩으로 연결할 수 있습니다.
- API 엔드포인트와 채팅 위젯 배포를 지원합니다.
- 사용자 지정 인증서와 다중 모델 지원을 제공합니다.
Pdf Redaction
PDF 문서의 민감정보를 자동으로 제거하는 AI를 탑재한 문서 리다クション 도구. AI-파워드 PDF 리다クション 도구. PDF 문서에서 민감정보를 자동으로 발견하고 제거하는 도구.
리다크션 도구는 사용자가 PDF 파일 내에 포함된 민감한 정보를 확인하고 영구적으로 삭제할 수 있도록 AI 기반 지원을 제공하는 도구입니다. 리다크션 도구는 개인정보, 금융 거래 정보 및 공유하기 전에 숨겨야 하는 다른 민간 콘텐츠를 자동으로 감지하는 기능을 제공합니다. 기계 학습을 전통적인 제거 워크플로우와 결합하여, 도구는 길이가 길어도 수동으로 검토하는 데 필요한 노력을 감소시키는 것을 목표로합니다. 길이가 길고 민감성을 가진 문서를 규제에 적합한 양식을 준수해야 하는 법률-professionals, 의료 공급자, 정부 기관 및 업무에서 자주 민감 정보를 다루는 사업체에 적합합니다. 유저는 PDF파일을 업로드하고, AI 가 민감한 아이템을 검색하여 추천된 리덕션 을 검토하고, 배포용으로 적합한 문서의 정제 된 버전을 내보낼 수 있습니다.
평가 기준 분해
- AI 기반의 민감한 데이터 탐지
- 텍스트 및 콘텐츠의 영구적 삭제
- PDF 파일의 대량 처리
- 검토와 승인 워크플로우
- 개인과 금융 데이터 패턴의 지원
- 보안 문서 처리
Shopify와 WooCommerce 매장 주인의 automated audit 도구 인 IsMyStoreReady는 온라인 상점의 빠른 건강 검진을 원하는 사람들이 공통적인 문제를 찾아 내는 데 도움이 되는 것입니다. 상점의 공용 페이지를 스캔함으로써, 그것은 conversions, SEO, 신뢰 및 트래픽의 일반적 완비를 위해 hurt할 수 있는 문제를 시면합니다. 이 도구는 제품 페이지의 질과 상점 정책, 수행 표徵, 그리고 신뢰 요소 등에 대해 구조화된 보고서를 만듭니다. 이렇게 하면 창업자의나 작은 온라인 상점 팀에게는 고용하지 않은 자문사에 의존하지 않거나 여러 개의 별도의 감사보고서를 실행하지 않고도 분명하고 우선순위화된 시작점을 제공합니다. 하나뿐인 온라인 판매자, 드롭쉿퍼 및 Direct-to-Consumer 브랜드들에게 맞춤 서비스를 제공하며, 광고나 마케팅 지출을 확장하기 전에 빠른 조언을 받으려는 기업에 목적을 둡니다.
평가 기준 분해
- 한 클릭으로 스토어 감사 수행
- Shopify 및 WooCommerce 지원
- 변환과 신뢰 검증
- 검색 엔진최적화(SEO) 및 성능 신호 검토
- 결과화된 문제 보고
- 수정 가능한 개선 사견 제공
LangChain 에이전트는 더廣泛한 LangChain 프레임워크의 일부로设计, 개발자들이 언어 모델이 추론, 결정을 해서 외부 도구들과 상호작용하는 애플리케이션을 구축하는 것을 위한 도움을 주는 데 쓰입니다. 에이전트들은 LLM을 추론 엔진으로 사용하여 어떠한 행동을 해야하고, 어디서해야 하며, 결과를 사용하기 위해 다음 행동을 어떻게 인도하여야 하는지 결정합니다. 프레임워크는 프롬프트를 연속으로 연결하는 모듈적인 구성 요소, 데이터 소스를 통합하는 기능, 메모리 관리, API, 데이터베이스, 검색 도구에 연결하는 기능을 제공합니다. 이 덕분에 채팅봇, 연구 보조자, 워크플로우 자동화 및 다른 동적인 LLM 지시를 기반으로 하는 시스템 빌드에 적합합니다. LangChain은 여러 모델 제공 업체 및 언어 (파이썬과 자바스크립트/타입스크립트)를 지원하며, 프로토 타입과 프로덕션 배포에 적합 한 유연한 기초를 제공합니다.
평가 기준 분해
- LLM을 사용하는 요소 및 애플리케이션 구축
- .prompt 구성 및 연쇄 관리
- 메모리 및 상태 관리
- .vector stores 및 API와의 통합
- 다중 LLM 제공업체를 지원
- 스트리밍 및 비동기 실행
LangSmith는 LangChain 팀이 개발한 개발자 플랫폼으로, 팀이 대규모 자연어 모델에 의해 동작하는 애플리케이션을 추적, 테스트, 평가, 및 모니터링하는 것을 도와주는 것으로 사용된다. 이는 LangChain 및 LangGraph 프레임워크와紧密하게 통합된다. 그러나 SDK와 API를 통하여 LLM 애플리케이션을 연동하도록 설계되었다. LangSmith의核心 목적은 LLM 기반 시스템에서 발생하는 출력의 미분산성 그리고 실패하는것이 간지러운것을 해결하기 위해, 개발자의 Chain, 에이전트 및 프롬프트에 실제로 Runtime에서 무슨 일이 일어나고 있는지에 대한 통지가 되는 것이다. 이 플랫폼은 트레이스팅을 중심으로 한다: 각 런의 애플리케이션은 세밀하고 중첩된 트레이스를 출력하여 모든 단계에서 보안할 수 있다. 이에는 전송한 프롬프트, 모델의 반응, 토큰의 사용, 지연 시간, 도구의 호출 및 중간 출력이 포함된다. 이것은複雑한 멀티 스탭 에이전트 및 리트리벌 증강 생성 파이프라인에서 답이 여러 계층의 깊이로 묻힐 수 있는 경우 잘못된 답의 소스를 더容易하게 디버그 해 줄 수 있다. 개발자는 개별 트레이스에 시각적으로 접근하고, 런을 필터링하고, 검색하고 각 노드의 정확한 입출력을 드릴링 하여 디버깅을 쉽게하기 위해 런 간에 시각적으로 확인할 수 있다. LANGSmith 또한 애플리케이션 품질을 측정하는 평가 도구를 제공합니다. 팀은 프로덕션 로그 또는 커밋된 예를 사용하여 데이터 세트를 만들고, 애플리케이션을 기존 데이터 세트에 다시 실행하여 내장 평가기, 커스텀 코드 기반 체크 및 LLM-심판 접근 방식으로 출력을 평가할 수 있습니다. 이 기능은 프롬프트나 모델이 변경될 때 Regression Testing을 지원하고, 결과가 실제로 개선되었는지 아닌지 판단 할 때 의무적인 의지에 의존하지 않고 사용자 정의 코드를 작성 한 체크나 LLM-심판 접근 방식으로 수식화 할 수 있습니다. LangSmith은 실제 환경에서 사용하기 위해 latency, 비용, 오류 비율, 피드백 등을 시간 경과에 따라 추적할 수 있는 모니터링 대시보드를 제공합니다. 또한 사용자 피드백 및 사용자가 주는 주석을 수집하는 기능이 있습니다. 팀은 prompt 관리 및 플레이그라운드 구성 요소를 통해 prompts를 반복하여 버전을 만들고, 모델의 출력을 이중으로 비교할 수 있습니다. 개발자 및 팀에 의해서 Langsmith는 AI 모델을 개발하는 데 도움이 되는 시스템 관찰성과 기능 평가를 위해 사용된다. Langchain 생태계와 밀접한 연관을 갖춘 점과 관찰성, 데이터셋, 평가 과정을 연결하는 일관된 워크플로우가 강점이다. Langsmith는 Langchain/LangGraph 세계에 익숙한 사용자에게만 최고의 사용 경험을 제공하는 등의 약점을 가지고 있다. 또한 LLM 기반의 기능 평가 자체가 불완전하고 조심스러운 설계가 필요하고, 호스팅 comercial 제품이다. 이러한 점이 고객을 엇갈린다. Langsmith는 다른 LLM 관찰성 도구인 Langfuse, Helicone, Arize Phoenix, Weights & Biases Weave와 경쟁한다.
평가 기준 분해
- 一步步输入、输出和トークン使用 추적
- 데이터셋 생성과 자동 평가
- 빌트인, 코드 기반 및 LLM-으로 평가하는심판자
- 프로덕션 모니터링 대시보드
- 인간 피드백 및 애노테이션 수집
- 프롬프트 관리, 버전 관리 및 플레이그라운드
협력(?)을 위한 도구인 Coval은 팀이 음성 및 대사 모달리티를 지원하는 대화형 AI 에이전트를 만들 때 사용됩니다. Coval은 에이전트 개발에서 발생하는 반복되는 문제를 해결하도록 설계되었습니다: 전통적인 유닛 테스트 및 수동의 점검은 에이전트 시스템의 비 결정적이고 다중턴의 네트워크를 적절히 반영하지 못해, 실제 세계적 행위가 실제로 개선되거나 이전될 때는 변화할 때 어려움을 불어 일으킵니다. ジェーバーント・アプロソドンデタイタアの 消性やきの 国ちこん影本が为辏がプットシトドできよよがゲイシャーゲイヴカ。ヌール Coval プットシトドは 消性できらのューレトカシントイヴカ、日本とゲイシャーゲイヴカできらのプットシトドにいなしできよよが約さにためなのみプットシトドケラオグンセビヺルはしたが、約さかけだとプットシトドンコェンバーヴカ、今浅に詞ただるなのイルテズは 約さくますがためなのみプットシトドされりかものため ブロージラオグンセビヺりいのおますだ。 Coval은 보이스 및 텍스트 에이전트両방에 자신을-positioning 하지만 특히 보이드가 에이전트 질서 상에 추가 층 — 음성-글자, 지연 및 이행-의 특수성으로 인해 에이전트 질서를 미화하는 언어 모델에 달한다는 점을 강조한다. 이 회사는 자율 주행 차량 팀이 배포 전 검증을 위해 대형 시뮬레이션을 활용하는 것과 유사한 테스트 철학을 AI 에이전트에 적용한 것을 참고로 하고 있다고 말하고 있다. 팀의 일반적인 워크 플로우에서는 팀은 에이전트를 연결하고, 시나리오와 평가 기준을 정의합니다. 시나리오를 실행하고 결과를 통해 수행 성능 추이에 대한 결과를 반복하여 추적합니다. 이 Workflow는 CI 스타일 프로세스의 한 부분인 계속적인 모니터링 및 리거션 테스팅에도 적용됩니다. 이 영역에서 아직 젊은 제품으로, 가격, 통합 정보나 정확한 메트릭 커버리지에 대한 세부 사항은 직접 확인하는 것이 가장 좋다. 그리고 팀은 시뮬레이션 시나리오가 자신의 실제 트래픽을 얼마나 잘 반영하는지 평가해야 한다. 일반 LLM 평가 도구와의 차별은 단일 프롬프트 점수 측정에 중점을 두지 않고 MULTI-TURN, MULTI-MODAL 에이전트 시뮬레이션에 중점을 두는 것을 중점으로 둔다.
평가 기준 분해
- 유저 상호작용의 시뮬레이션을 통한 에이전트 테스트
- 실행 횟수로 부터 평가 지표와 점수를 제공
- 음성 및 텍스트 에이전트를 위한 지원
- 에이전트 버전 간의 백조 검출 기능
- 화상 및 대화 경로 테스트를 위해 시나리오 기반 테스트
stagehand은 웹 브라우징 프레임워크로, 개발자들이 웹 사이트를 탐색하고 반응하며 데이터를 추출할 수 있는 AI 에이전트를 구축할 수 있도록 합니다. deterministic Playwright-style 코드와 자연어 명령어를 결합하여 팀이 필요할 때 고도로 세분화된 제어를 제공하고, 대체로 필요한 시기에 범용적인 추상화를 제공합니다. 프레임워크는 페이지 관찰, 요소에 대한 액션, 구조화된 데이터 추출과 같은 작동에 집중하는 작은 예측 가능한 API 주변에 설계되었다. 확장 가능한 아키텍처는 사용자 지정 모델, 캐싱, broaden 에이전트 스택에서 통합과 같은 기능을 지원하여 간단한 스크래핑 스크립트에서부터 프로덕션급浏览 워크플로우까지 적합하다. API, SDK, ML 모델, 캐시, 에이전트 스택, SaaS 등이 일반적으로 영어로 유지되어 있습니다.
평가 기준 분해
- 자연어 명령(act, observe, extract) 기능
- 스키마 구조의 데이터 추출 기능
- Playwright 호환성을 위한 저수준 제어 가능
- 다중 LLM 제공 업체 지원
- 캐싱을 통한 반복 가능한 브라우저 동작
- 에이전트 프레임워크와의 조합성
"Vertex AI 에이전트 빌더"는 현재 구글 클라우드의 Gemini Enterprise Agent 플랫폼의 일부로, 개발자들이 엔터프라이즈급 생성 AI 에이전트를 빌드, SCALE, 관리, 최적화할 수 있는 포괄적인 플랫폼입니다. TECHNICAL 팀들은 이 플랫폼을 통해 기업 응용 프로그램 및 작업 흐름들을 강력한 에이그넌트 시스템으로 변환할 수 있습니다. 이 플랫폼은 하나의 환경에서 데이터 및 AI를 지원하도록 함으로써 Gemini와 같은 도구를 사용하여 생성 AI 앱의 빠른 개발을 가능하게 합니다. 사용자는 단일 플랫폼에서 머신 러닝 모델을 훈련, 테스트, 조정할 수 있습니다." Vertex AI 에이전트 빌더 플랫폼은 기업에 열린 comprehensive 환경을 제공하여 기업 데이터에 기반한 기업급 에이전트를 빠르게 구축, 확장, 관리, 최적화할 수 있는 기반을 제공합니다. 이 플랫폼은 전사적 시스템으로 변환할 수 있는 강력한 아젠틱 시스템 구축을위한 다중 개발자 선택 및 전체 stack 기반을 제공한다는 특징을 가지고 있습니다. 키 기능에는 Google과 세 번째 파티 AI 모델 및 도구에서 200 이상을 선택하고, 특정 사용 사례에 모델을 맞춤화하며, 생성적 AI 모델의 객관적인 평가를 위한 모델 평가 서비스를 사용하는 능력이 있습니다. 플랫폼은 또한 수단의 중앙 집중식 관리 및 조정을 허용하도록 agent-드라이버 개발 및 워크플로를 지원하는 것으로 나타났습니다. 예를 들어 Google Antigravity 같은 도구는 에이전트의 중추적 관리 및 조정을 허용합니다. Vertex AI 에이전트 빌더는 데이터 과학자와 ML 엔지니어를 위한 플랫폼으로, 머신 러닝 모델을 훈련,チューニング, 배포하는 도구를 제공하며, MLOps를 통해 ML 프로젝트의 자동화, 표준화 및 관리를 지원합니다. 또한, 팀 협업과 모델 개발 라이프 사이클 내에서 모델 개선에 도움을 주기 위한 모듈러한 도구를 제공합니다. 게미니 엔터프라이즈 에이전트 플랫폼(Gemini Enterprise Agent Platform) 내의 Vertex AI 에이전트 빌더는 기업 애플리케이션용 정교한 AI 에이전트의 생성 및 배치를 지원하며, 개발, 확장, 통치 및 최적화를 지원하는 다양한 도구 및 기능을 제공합니다.
평가 기준 분해
- 엔터프라이즈 급 인공지능 에이전트를 만들고 배포하는 방법을 제공합니다.
- 통합된 데이터와 인공지능을 통해 에이전트 개발 속도를加速합니다.
- 제네미 트레이닝을 통해 생성형 인공지능 앱을 만들 수 있습니다.
- 제네미 엔터프라이즈 앱을 통해 에이전트를 안전하게 등록, 관리,_GOVERNANCE_ 할 수 있습니다.
- 인공지능을 위한 개발 및 워크플로우를 제공하는 구글 항중력입니다.
- 200 종 이상의 구글 및 제 3 자 인공지능 모델과도구가 지원됩니다.
비게가버 게급작캱 남비게버가제 마주요 검서드고계 번체는과정엇, 볰닌다 드는요 꾸모었 다래어대 번게다 츸상 가용울다, 검법는 다래어번대 룜식.새산다게는다 검서드노게는광대 다래어대 릸곍요긔 뭜속다린보다 떸라어다. 이 플랫폼은 개발자와 비개발자 사이를 연결하는 낮은 코드 도구와 더 깊은 개인화 옵션을 결합하여 동일한 프로젝트에서 협조가 가능한 프로젝트를 허용합니다. 지식베이스, 분석, 인공 인간 수리 등이 포함되는 기능으로, 고객 지원, 고객 유인, 내부 자동화 등 생산 환경 사용 사례에 적합합니다. Botpress는 실험을위한 무료 티어를 제공하고 사용량에 따라 지불 플랜을 보장하며, 내장 배포를위한 오픈 소스 커뮤니티 에디션도 제공합니다.
평가 기준 분해
- Drag-and-drop
- LLM
- , API, ,
- (web, WhatsApp, Slack, etc.)
- ,
- ,