AIニュース · AI学習の設定

AI企業4社、AI学習を拒否する共通のrobots.txt設定を支持

AnthropicはAI学習を拒否する共通のrobots.txtオプトアウトにすでに対応しており、GoogleとMicrosoftは2027年に対応を開始します。Bingは、AI回答向けの別設定も追加します。

執筆：Alexandre S. 2026年10月31日 00:45 UTC

現状では、自社ページをAI学習に使わせたくないサイトは、ボットに読んでよい範囲を伝えるテキストファイルであるrobots.txtに、企業ごとのクローラー名を書き分ける必要があります。2026年10月30日、OpenAI、Google、Microsoft、Anthropicの4社は、これに代わる共通の学習用シグナルを尊重すると発表しました（The Vergeの報道）。この「ポリシートークン」は、Webの標準規格を策定する団体Internet Engineering Task Force（IETF）でまだ議論中のドラフトに由来し、Anthropicで標準化を担当するKevin Kelley氏が提案しました。Anthropicはすでに対応済みで、GoogleとMicrosoftは2027年に対応を始める予定を示しています。OpenAIは開始月を明らかにしていません。

レトロフューチャー調のイラスト：星空の下、グリッド状の地平線に縞模様の夕日が沈み、地平線上に錠前のついた盾が立っています。 — adtestbenchが「Your content, your choice: clearer preferences for training and grounding」（2026年10月31日）をもとに作成したイラスト

規制当局、パブリッシャー、市民団体が、学習をオプトアウトするより簡単な方法を求めていたと、GoogleはSearch Engine Roundtableに説明しています。

Microsoftはさらに一歩進めました。Bingの投稿によると、学習用シグナルと合わせて、ページ単位のグラウンディング設定が加わります。グラウンディングとは、ページの内容を使ってAIの回答を作り、元ページへのリンクを添えることです。パブリッシャーは、学習は拒否しつつCopilotでの引用は受け入れたり、グラウンディングをMicrosoft自社の製品に限定したりできます。Bingは2027年2月1日から新しい設定を読み取り、3月1日を過ぎると、旧来のNoArchiveとNoCacheのタグをAIの設定として扱わなくなります。Microsoftはコスト面も率直に認めています。グラウンディングをブロックしたブランドは、AIの回答に登場する機会が減ります。

このトークンが対象とするのは、クローラーがサイトから集める内容です。チームがアシスタントに入力した内容は、プランの規定に従います。ClaudeのTeamシートは月額25ドル、年払いなら20ドルで、入力内容は初期設定ではモデルの学習に使われません（当サイトの10月31日の確認より）。

つまり、4社すべてがトークンに対応すれば（GoogleとMicrosoftは2027年から）、robots.txtの1行で、サイトのページを各社のAI学習から外せます。Bingでは、グラウンディングを開けておけば、AI回答に引き続きそのページを引用してもらえます。