# 웹사이트 접속의 99% 이상이 봇에 의해, 인간당 214회까지 페이지를 읽어들이는 AI 스크래퍼와의 공방

> https://bookfactory.kr/c/news/9555
> 게시판: 뉴스
> 작성자: tachikoma43
> 작성일: 2026-08-13T14:18:32.625Z

---

친애하는 독자 여러분께. 잘 아시다시피 가격 급등 등의 악영향으로 인해 서버 운영이 매우 어려운 상황입니다. 회선 및 서버 수를 정리하고 검토할 수 있는 부분은 모두 검토했지만, 역시 아직 위험 수위입니다. 이대로라면 1페이지를 10분할 정도로 무리하게 PV(페이지 뷰)를 늘려야 할 수도 있습니다. 이에 GIGAZINE의 물리적인 서버들을, 단 1円이라도 좋으니 독자 여러분의 지원을 받으면 정말 감사하겠습니다! 지금 바로 기부는 위의 버튼에서 가능합니다. ・이전 GIGAZINE을 지원해 주신 멤버 목록

비밀번호 - 비밀번호 재발급

기부자 정보 데이터베이스 “PatronView”를 운영하는 닉 그레이(Nick Gray)氏가 웹사이트에 쏟아지는 AI 크롤러 및 스크래퍼와 약 1년 넘게 이어온 공방을 공개했습니다. 서버가 전송한 페이지 수와 접근 분석 숫자를 비교해 보면 “인간이 1회 페이지를 읽어들인” 것으로 기록되는 동안 AI에 의한 페이지 읽기 발생이 약 214회 발생했다는 것입니다. 99% of My Website Traffic Is Bots | PatronView https://patronview.com/news/99-percent-of-my-website-traffic-is-bots/

저는 웹사이트 서버 로그를 확인하던 중 99%의 트래픽이 봇에서 발생했다는 사실에 충격을 받았습니다. Anthropic은 그들이 보내는 방문자 수에 대해 35,000번씩 제 사이트를 스크랩합니다. 저는 Cloudflare 및 방화벽 규칙을 모두 사용하고 있으며, 이를 공유합니다 https://t.co/bmI9jK7tSh

PatronView는 공개된 자료를 기반으로 약 150만 건의 개인 프로필을 게시하고 있습니다. 대량의 공개 정보를 다루기 때문에 검색 엔진 및 각종 크롤러로부터 접근이 용이하며, 그레이 氏はSEO 크롤러 및 봇에 의한 대량 접근에 대한 대책을 지속적으로 이어왔습니다.

어느 1주일 동안 PatronView의 서버가 전송한 전체 페이지는 약 128만 건이었습니다. 반면 JavaScript를 사용하는 접근 분석 소프트웨어 “Plausible Community Edition”에 기록된 페이지 뷰는 5977건으로, 단순 계산상으로는 약 214:1의 비율이 됩니다. 그레이 氏は“접속의 99%가 봇”이라는 표현으로도 실제보다 다소 부드럽다고 설명합니다. 약 214:1 비율을 시각화한 것은 다음과 같은 그림으로, 파란색 칸 1개는 인간으로서 측정된 페이지 읽기 발생에 해당합니다. 나머지 회색은 모두 봇에 의한 접근입니다.

대량 접근이 특히 두드러진 것은 2026년 4월 22일입니다. 1일 동안 약 362만 건의 요청이 발생했으며, 접근 원은 약 36만 1000개의 IP 주소로 분산되었습니다. 대부분 중국에서 발생했으며, 그레이 氏は다음 날인 23일에 중국에서의 접근을 차단했습니다. 그 직후부터 요청 수는 크게 감소했습니다.

AI 크롤러에서는 Anthropic의 “Claude-SearchBot”이 1주일 동안 약 42만 페이지를 수집한 반면, Claude가 사용자의 요청에 따라 웹사이트에 접근하는 “Claude-User”에 의한 접근은 12건이었습니다. 그레이 氏は両者を 비교하여 방문자 1인당 약 3만 5천 페이지를 수집한 계산이라고 述べています. Amazon의 “Amzn-SearchBot”도 대량으로 접근했지만, PatronView에 대한 방문자는 확인되지 않았을とのこと입니다. 한편으로 Googlebot은 방문자 1인당 46페이지, Bingbot은 406페이지였습니다. 각 크롤러의 수집 페이지 수와 사용자 유래의 접근 수의 비율을 그레이 氏가 비교하면, AI 검색 크롤러와 기존의 검색 엔진으로 큰 차이が出ています.

그레이 氏はCloudflare의 Web Application Firewall을 사용하여 사용자의 유입에 도움이 되지 않는다고 판단한 AI 크롤러를 차단한 외에, 의심스러운 접근에는 Cloudflare의 “Managed Challenge”에 의한 인증을 요구하고, 짧은 시간에 대량의 페이지를 수집하는 접근에는 횟수 제한을 설정했습니다. Googlebot이나 Bingbot과 같은 사용자를 보내는 검색 크롤러는 허용하고, “얼마나 많은 페이지를 수집했나”와 “얼마나 많은 방문자를 돌려보냈나”를 판단 물질로 しているとのこと입니다. 다만, 개발자의 Kaka Ruto 氏가 PatronView에 접근을 시도한 결과, 独自の 웹 획득 툴에서는 접근을 거부당한ものの、AI 에이전트가 Chrome 브라우저를 조작하는 “Chrome DevTools MCP”로 전환하면 페이지를 수집할 수 있었던 것으로 보고 しているように、완전한 차단은 難しい模様입니다.

Interesting experiment - Nick's website denied my custom web fetch tool access, but my agent decided to use the chrome devtools mcp and it workedThere's a crawling pandemic going on and I'm pretty sure someone will come up with a solution for this - and it's not cloudflarehttps://t.co/QQWKGDtmSPpic.twitter.com/6KOhwFsRET

그레이 氏は스크래핑의 비용이 계속 감소하는 가운데, 미래에는 크롤러 측이 페이지 획득의 대가를 지불하는 “Pay Per Crawl”과 같은 仕組み가 필요할 가능성이 있다고 述べています. Pay Per Crawl과 같은 시장이 成立するまでは “방문자를 1人も送ってこない 크롤러는 블록한다”는方針으로 운영을 계속할とのこと입니다.

클라우드플래어가 웹사이트 방문 시마다 과금 가능한 시스템 “Monetization Gateway”를 발표 - GIGAZINE

다양한 AI 봇에 의한 웹사이트 접속 건수를 클라우드플래어가 집계하여 그래프화, 가장 활동량이 많은 AI 봇은 무엇인가? - GIGAZINE

클라우드플래어가 AI 봇을 “검색”, “대리 조작”, “학습” 등 종류별로 제어하는 시스템을 공개, 무료 플랜에서도 “검색은 허용, AI 학습은 거부” 설정을 가능하게 함 - GIGAZINE

웹사이트가 AI 봇에게 스크래핑 요금을 청구할 수 있는 마켓플레이스를 클라우드플래어가 발표 - GIGAZINE

SpaceX의 AI 24시간 근무 에이전트 “Grok Bot” 출시, Windows, macOS, Linux, iOS에 대응하며 에이전트 1대당 전용 클라우드 PC를 제어 - GIGAZINE

“정말로 인간인지 확인하는 방법?” Cloudflare Turnstile에서 WebGL 정보가 문제로, 지문 인식 방지에서 걸리는 환경이 속출 - GIGAZINE

Pixel 11은 신규 기능 “카메라스タイル”로 무엇을 이루고자 했나 카메라 팀 리더가 해설

2026년 08월 13일 23시 00분 00초 inAI, Posted by log1d_ts

Over 99% of website traffic comes from b….

최근 24시간 (1시간마다 업데이트, 5분 간격은 여기)

불편을 드려 죄송합니다. 독자 여러분을 위한 기사를 계속 게시하기 위해, 서버 유지 비용으로 300원을 기부해 주시지 않으시겠습니까.

기쁘게 이메일로 리마인드해 드리겠습니다.
지속적으로 기사를 읽어주십시오.

[원문 보기](https://gigazine.net/news/20260813-traffic-bot-percent/) | 출처: Gigazine