Braveのヘルプページが明かす、名前のないクローラーとGooglebotルールの連動

Search Engine Journalは11月6日、サイト運営者向けに仕組みを解説しました。クローラーの立ち入りを禁じるファイルであるrobots.txtは、クローラー名を指定して機能しますが、Braveのクローラーは名前を公開していません。Braveのヘルプページによると、Googlebotに対して禁止している内容は、Braveのクローラーにも適用されます。独自の名前がない理由として挙げているのは、Googleしか受け入れないサイトがあることです。

つまりGooglebotとBraveのクローラーは同じ入口を共有しており、両方に開くか、両方に閉じるかのどちらかです。Braveのページが案内しているのはnoindexタグ（検索エンジンに掲載しないよう伝える、ページのコード内の1行）で、Googleもこのタグに従います。自社サイトがどの程度含まれているかは確認できます。Search Engine Journalは、search.brave.comで「site:」に自社ドメインを続けて入力する方法を勧めています。表示される結果は、AI企業に販売されているインデックスのものだからです。

ClaudeがBraveを現在使っているかどうかは、Search Engine Journalも明らかにしていません。料金表では、Claudeの0ドルのFreeプランにWeb検索が含まれており（11月6日確認）、同プランに検索事業者の記載はありません。

公開中のページから抜ける方法として案内されているのはnoindexで、そのページはGoogleからも外れます。AI向けに販売されるインデックスから抜ける代償は、そのページのGoogle経由のトラフィックです。