Proof of Human 이 자체 제품과 함께 5 가지의 시스템 성능을 비교한 결과를 공개했습니다. 2026 년 현대 AI 에이전트와 비교하여 Bot Detection Systems 를 벤치마킹합니다 | Proof of Human Research https://research.poh.org/bot-benchmarking-2026/
연구 팀은 'Proof of Human', 'reCAPTCHA v3', 'hCaptcha', 'Cloudflare Turnstile', 'Cloudflare Bot Management'라는 5 가지의 Bot Detection 시스템 성능을 테스트하기 위해 Claude Opus 를 활용한 'Browser Use', Perplexity 의 'Comet', xAI 의 'Grok'라는 3 가지 AI 에이전트, 그리고 고정된 절차로 작동하는 Bot 2 가지를 대상으로 브라우저 조작을 수행하고 '5 개의 설문 조사에 응답하는' 테스트를 진행했습니다. 3 가지 AI 에이전트는 화면 내용을 인식하고 클릭이나 문자 입력과 같은 다음 실행할 작업을 스스로 판단하여 작업을 진행합니다. 또한, 고정된 절차로 작동하는 Bot 에 대해서는 자동 조작 흔적을 숨기지 않은 'Chromium'과 자동 조작 흔적을 숨긴 'CloakBrowser'를 사용했습니다.
연구팀은 5 가지 봇 탐지 시스템이 AI 에이전트에 의한 자동 조작을 얼마나 인식할 수 있는지, 봇에 의한 자동 조작을 얼마나 인식할 수 있는지를 비교했습니다. 각 시스템에서 AI 에이전트나 봇 1 종류당 20 회씩 시험을 실시했으며, 평가 가능한 시행 중 AI 에이전트나 봇을 탐지한 비율을 '탐지율'로 정의했습니다. 그 결과, hCaptcha 와 Cloudflare Turnstile 는 규칙적인 절차로 움직이는 봇에 의한 자동 조작을 95~100% 의 비율로 탐지한 반면, AI 에이전트에 의한 자동 조작의 대부분을 놓쳤습니다. AI 에이전트에 대한 hCaptcha 의 탐지율은 Browser Use 가 16%, Comet 이 0%, Grok 이 6% 로, Cloudflare Turnstile 는 3 가지 AI 에이전트 모두에서 0% 였습니다. 아래 그림은 세로로 봇 탐지 시스템, 가로로 봇 종류를 배치하여 각 조합별 탐지율(%) 을 표시한 것입니다. 초록색에 가까울수록 탐지율이 높고, 빨간색에 가까울수록 탐지율이 낮음을 나타냅니다.
연구팀에 따르면 hCaptcha 는 특정 절차로 작동하는 봇이 이미지 선택 인증 문제에서 자주 실패했지만, 3 가지 AI 에이전트는 이미지를 인식하여 문제를 해결하고 많은 시도에서 인증을 통과했습니다. 브라우저 상태를 검사하는 Cloudflare Turnstile 는 3 가지 AI 에이전트가 인증 문제를 제기하지 않고 통과했다고 합니다. 반면 reCAPTCHA v3 는 AI 에이전트의 많은 동작을 감지했으며, 감지율은 Browser Use 가 95%, Comet 이 100%, Grok 이 72%였습니다. reCAPTCHA v3 는 이미지 문제를 제기하지 않으며 사용자의 인간 여부를 점수 방식으로 평가합니다. 그러나 많은 AI 에이전트 동작을 감지한 reCAPTCHA v3 도 CloakBrowser 를 사용한 자동 동작 감지율은 0%였습니다. 시험에 사용된 CloakBrowser 는 브라우저 정보를 위장하고 일반 가정의 라인의 IP 주소로 통신하도록 설정된 것입니다. 연구팀은 브라우저 정보 위장과 IP 주소 중 어느 것이 감지를 피한 요인인지, 아니면 둘 다 영향을 미쳤는지는 이 시험만으로는 알 수 없다고 설명했습니다. 3 가지 AI 에이전트와 2 가지 봇의 시도 합계에서 감지율은 Proof of Human 이 99% 로 가장 높았으며, 그 다음으로 69.4% 의 reCAPTCHA v3 가 이어졌습니다. 아래 그래프는 가로축이 봇 감지 시스템, 세로축이 감지율(%)을 나타냅니다.
연구팀은 봇 탐지 시스템이 인간을 봇으로 잘못 판단하는 비율에 대해 조사하지 않았습니다. 연구팀은 향후 인간 참여자를 포함하여 이 잘못된 판단 비율을 평가해야 한다고 밝혔습니다.
원문 보기 | 출처: Gigazine