TIME 잡지가 인간 독자에게는 일반적인 웹사이트를 표시하는 반면, 일부 AI 크롤러에게는 광고가 포함된 별도의 버전을 제공하고 있음을 소프트웨어 개발자 윈스턴 슈말바흐 씨가 확인했습니다. AI용 페이지는 텍스트를 처리하기 쉬운 마크다운 형식으로 만들어졌으며, 인간용 페이지에는 없는 광고도 포함되어 있습니다. TIME은 일부 AI 크롤러에 기사 내용과 링크를 간결하게 묘사한 마크다운 버전을 배포하고 있습니다. 슈말바흐 씨가 사용한 브라우저와 크롤러 종류를 나타내는 “User-Agent”를 변경하여 조사한 결과, 일반 브라우저에는 약 303KB의 HTML이 반환된 반면, ClaudeBot이나 PerplexityBot과 같은 AI 크롤러에는 약 13KB의 마크다운이 전송되었습니다. 실제 응답 헤더는 다음과 같았습니다. 콘텐츠 종류를 나타내는 “content-type”이 “text/markdown”으로 표시되었습니다.
ChatGPT나 Claude와 같은 AI 서비스는 웹사이트를 순회하는 AI 크롤러를 사용하여 검색 결과나 답변에 필요한 정보를 수집할 수 있습니다. 하지만 일반적인 웹 페이지에는 이미지, 메뉴, 화면 표시용 코드 등 많은 요소가 포함되어 있어 텍스트를 추출하는 AI에게는 효율적이지 않을 수 있습니다. TIME은 일부 AI 크롤러에 기사 내용과 링크를 간결하게 묘사한 마크다운 버전을 배포하고 있습니다. 슈말바흐 씨가 사용한 브라우저와 크롤러 종류를 나타내는 “User-Agent”를 변경하여 조사한 결과, 일반 브라우저에는 약 303KB의 HTML이 반환된 반면, ClaudeBot이나 PerplexityBot과 같은 AI 크롤러에는 약 13KB의 마크다운이 전송되었습니다. 실제 응답 헤더는 다음과 같았습니다. 콘텐츠 종류를 나타내는 “content-type”이 “text/markdown”으로 표시되었습니다.
AI용 페이지에는 AI 광고 기술 기업인 Mobian을 나타내는 내용이나, 접근 방식에 따라 다른 광고 표시 ID도 포함되어 있었습니다. 특집 페이지 등에는 스폰서 기업의 정보가 질문과 답변의 형식으로 삽입되어 있으며, 생성 AI가 광고주의 정보를 읽기 쉽게 만들어야 한다는 것이 추정됩니다.
광고 부분에는 스폰서 콘텐츠임을 명시하고 있습니다. 하지만 인간용 페이지에는 동일한 광고가 표시되지 않기 때문에, 인간 독자가 AI용 광고의 내용과 표시 방법을 확인하는 것은 어렵습니다. TIME에 따르면, 많은 경우 AI 보트의 접근 수가 인간의 접근 수를 넘어선다고 합니다. 슈말바흐 씨는 웹의 주요 독자가 AI 모델로 변하는 경우에 발생할 수 있는 일에 대한 초기 사례라고 설명하고 있습니다.
원문 보기 | 출처: Gigazine