adtestbench Higgsfield
KO

AI 뉴스 · AI 학습 거부 설정

AI 기업 4곳, robots.txt 하나로 AI 학습 거부 지원

Anthropic은 이미 공통 robots.txt 학습 거부 신호를 따르고 있고, Google과 Microsoft는 2027부터 적용합니다. Bing은 AI 답변용 설정을 별도로 추가합니다.

글 Alexandre S. , 00:45 UTC

지금은 AI 학습에서 페이지를 빼고 싶은 사이트가 robots.txt 파일(봇이 읽을 수 있는 범위를 알려 주는 텍스트 파일)에 회사별 크롤러를 일일이 적어야 합니다. OpenAI, Google, Microsoft, Anthropic은 이를 대신해 공통 학습 신호 하나를 따르겠다고 2026년 10월 30일 밝혔다고 The Verge가 보도했습니다. ‘정책 토큰’은 웹 표준을 만드는 기구인 IETF(Internet Engineering Task Force)에서 논의 중인 초안에서 나왔고, Anthropic의 표준 담당 Kevin Kelley가 제안했습니다. Anthropic은 이미 이를 따르고 있고, Google과 Microsoft는 2027부터 적용하기로 했으며, OpenAI는 아직 시기를 밝히지 않았습니다.

레트로 퓨처리즘 일러스트: 줄무늬 석양이 그리드 지평선 위로 지고, 별이 빛나는 하늘 아래 자물쇠 달린 방패가 지평선에 서 있는 장면
adtestbench가 “Your content, your choice: clearer preferences for training and grounding”() 자료를 바탕으로 그린 일러스트

규제당국, 퍼블리셔, 시민단체가 학습 거부를 더 간단하게 만들라고 압박해 왔다고 Google이 Search Engine Roundtable에 밝혔습니다.

Microsoft는 한 걸음 더 나갔습니다. 학습 신호와 함께 Bing 발표에서 페이지 단위 그라운딩 설정을 추가했습니다. 그라운딩은 페이지를 AI 답변 작성에 쓰고 원문 링크를 달아 주는 것을 말합니다. 퍼블리셔는 학습은 거부하면서도 Copilot에서는 계속 인용되게 하거나, 그라운딩을 Microsoft 자사 제품으로만 제한할 수 있습니다. Bing은 2027년 2월 1일부터 새 설정을 읽고, 3월 1일 이후에는 기존 NoArchive, NoCache 태그를 AI 설정으로 보지 않습니다. Microsoft는 대가를 숨기지 않습니다. 그라운딩을 막은 브랜드는 그 AI 답변에 덜 나온다는 것입니다.

토큰이 다루는 대상은 크롤러가 사이트에서 가져가는 콘텐츠입니다. 팀이 어시스턴트에 입력하는 내용은 플랜에 따라 달라집니다. 10월 31일 확인 기준 Claude Team 시트는 월 25달러, 연간 결제 시 20달러이고, 기본값으로 콘텐츠를 모델 학습에 쓰지 않습니다.

따라서 네 곳이 모두 토큰을 지원하면(Google과 Microsoft는 2027부터), robots.txt 한 줄로 사이트 페이지를 이들 회사의 학습에서 뺄 수 있습니다. Bing에서는 브랜드가 그라운딩을 열어 두어 AI 답변이 해당 페이지를 계속 인용하게 할 수도 있습니다.

출처

  1. Microsoft Bing: Your content, your choice: clearer preferences for training and grounding. 확인
  2. Search Engine Roundtable: Google Adopts New AI Training Control. 확인
  3. The Verge: The biggest names in AI are backing a new way to opt out of scraping. 확인
Alexandre S. 프로필 사진

Alexandre S.

Alexandre S.는 크리에이티브 광고 전략가이자 카피라이터로, 여러 채널을 아우르는 디지털 마케팅 경력이 10년입니다.

저자 소개툴 평가 방식

의 AI 뉴스 더 보기

전체 AI 뉴스 (최신순)