AI 新聞 · AI 訓練偏好
四家 AI 公司支持同一套 robots.txt 的 AI 訓練退出機制
Anthropic 已經讀取這項共用的 robots.txt 退出訊號，Google 和 Microsoft 從 2027 起跟進，Bing 另外新增 AI 回答的獨立開關。
現在網站如果想讓頁面不被拿去訓練 AI，得在 robots.txt 檔案（告訴機器人哪些內容可以讀取的純文字檔）裡逐一寫出每家公司的爬蟲名稱。2026 年 10 月 30 日，OpenAI、Google、Microsoft 和 Anthropic 表示，將改為遵守同一個共用的訓練訊號，The Verge 報導。這個「policy token」出自網際網路工程任務組（IETF，制定網路標準的組織）仍在討論的草案，由 Anthropic 的標準負責人 Kevin Kelley 提出。Anthropic 已經遵守，Google 和 Microsoft 已訂在 2027，OpenAI 則沒說是哪個月。
Google 告訴 Search Engine Roundtable，監管機關、出版商和公民團體一直要求提供更簡單的 AI 訓練退出方式。
Microsoft 走得更遠。除了訓練訊號，Bing 的文章還新增頁面層級的 grounding 設定；grounding 是指拿一個頁面來寫 AI 回答，並附上連回該頁的連結。出版商可以拒絕訓練，但仍會在 Copilot 中被引用，也可以把 grounding 限定在 Microsoft 自家產品。Bing 從 2027 年 2 月 1 日起讀取新設定，並在 3 月 1 日之後，不再把舊的 NoArchive 和 NoCache 標籤當成 AI 偏好。Microsoft 也直說代價：封鎖 grounding 的品牌，在這些 AI 回答中的曝光會變少。
這個 token 管的是爬蟲從你網站蒐集的內容。團隊輸入助理的內容，則要看方案：我們 10 月 31 日的確認紀錄顯示，Claude 的 Team 席位每月 25 美元，按年計費為 20 美元，預設不會用你的內容訓練模型。
所以等四家都支援這個 token（Google 和 Microsoft 從 2027 起），在 robots.txt 加一行就能讓網站頁面不被它們拿去訓練；而在 Bing 上，品牌也可以保留 grounding，讓 AI 回答繼續引用這些頁面。
資料來源
- Microsoft Bing：Your content, your choice: clearer preferences for training and grounding。確認於
- Search Engine Roundtable：Google Adopts New AI Training Control。確認於
- The Verge：The biggest names in AI are backing a new way to opt out of scraping。確認於
