웹사이트 콘텐츠의 AI 학습 사용 여부를 명시할 수 있도록 robot.txt 를 활용한 표준 규격 개발이 진행 중입니다. Google, OpenAI, Microsoft 가 이 규격에 대응한다고 발표했습니다. 웹사이트를 위한 공유 AI 학습 제어 지원 | Google Search Central 블로그 | Google for Developershttps://developers.google.com/search/blog/2026/10/ai-training-controlAI 학습 의향 웹사이트에 쉽게 전달하는 메커니즘 | OpenAIhttps://openai.com/ja-JP/index/helping-websites-express-ai-training-preferences/콘텐츠, 당신의 선택: 학습 및...에 대한 명확한 선호도https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/Google 와 OpenAI 와 같은 AI 기업들은 웹사이트 관리자에게 AI 학습 사용 여부를 명시할 수 있는 메커니즘을 제공하지만, 각社の 메커니즘이 다르기 때문에 대응이 복잡해지고 있습니다. 이 문제를 해결하기 위해 표준화 기관인 IETF 에서 공통 규격 논의가 진행 중입니다. 논의 중인 규격에서는 검색 엔진 크롤러에게 웹사이트의 허용 범위를 전달하는 'robot.txt'에 'usage_ai-training'이라는 새로운 폴리시 토큰을 도입하고, AI 학습의 '허용' 또는 '불용'을 명시할 수 있도록 검토 중입니다. 또한, 논의 제안자는 Anthropic 소속의 Kevin Kelly 입니다. draft-kelley-aipref-training-preference-signal-00 - Machine-Readable Training Preference Signalhttps://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/
구글은 2027 년 OpenAI 가 향후 수 개월 이내에 대응 완료 계획을 세우고 있습니다. usage_ai-training 에 대한 대응이 완료된 후에도 구글의 독자 설정과 OpenAI 의 독자 설정은引き続き 유효성을 발휘합니다. 마이크로소프트는 공통 사양에 더해"AI 의 응답 내용 생성 시 웹 사이트를 참조 정보로 사용하는 것의可否"도 설정 가능하도록 할 예정이며, 2027 년 2 월 1 일부터 설정의 참조를 시작할 계획입니다.
원문 보기 | 출처: Gigazine