AI 新聞 · Brave · 搜尋索引
Brave 說明頁指出,其未具名爬蟲遵循 Googlebot 的規則
紐約時報指稱 Brave 為 AI 買家複製了超過 300億個網頁。Brave 的說明頁顯示,網站的退出方式同樣會影響 Google。
Brave 向 AI 公司販售搜尋索引的存取權,而 Brave 提供的退出方式,同時也會讓該頁面從 Google 消失。紐約時報於 2026 年 11 月 2 日起訴 Brave,訴狀指控該公司在「未表明身分」的情況下爬取超過 300億個網頁並向 AI 公司販售存取權,點名 Mistral、Cohere、xAI、Anthropic 與 Perplexity 為客戶。這些公司並非被告,Brave 也尚未在法庭上答辯。
Search Engine Journal 在 11 月 6 日替網站經營者說明了運作方式。Robots.txt 是告訴爬蟲勿入的檔案,靠名稱運作,而 Brave 的爬蟲沒有宣告任何名稱。Brave 的說明頁表示,禁止 Googlebot 的內容,Brave 的爬蟲同樣不會抓取;沒有另取名稱的理由是,有些網站只放行 Google。
結果是 Googlebot 與 Brave 的爬蟲共用同一道門,要開一起開,要關一起關。Brave 的說明頁提供 noindex 標籤,也就是寫在頁面程式碼中、請搜尋引擎略過該頁的一行指令,Google 同樣遵守這個標籤。你可以自己查看曝光情況:Search Engine Journal 建議在 search.brave.com 輸入 site: 加上你的網域,因為這些結果來自賣給 AI 公司的索引。
Search Engine Journal 沒有說明 Claude 目前是否使用 Brave。在我們的價格表上,Claude 的 Free 方案(0 美元)含網頁搜尋(11 月 6 日確認),而該方案沒有註明搜尋供應商。
對仍在線上的頁面來說,noindex 是列出的退出途徑,同時也會讓該頁從 Google 消失,所以退出賣給 AI 的索引,代價就是該頁的 Google 流量。
資料來源
- Search Engine Journal:Brave Sells Its Search Index To AI, And Your Website Is Probably In It。確認於
- Brave:Brave Search crawler。確認於
- The New York Times Company:The New York Times Company v. Brave Software, complaint。確認於