Página de ajuda do Brave liga seu rastreador sem nome às regras do Googlebot

O Search Engine Journal explicou o funcionamento para donos de sites em 6 de novembro. O robots.txt, arquivo que diz aos rastreadores para ficarem de fora, funciona por nome, e o rastreador do Brave não anuncia nenhum. Tudo o que está bloqueado para o Googlebot também está bloqueado para o rastreador do Brave, diz a página de ajuda do Brave, que dá um motivo para não ter nome próprio: alguns sites só admitem o Google.

Isso deixa o Googlebot e o rastreador do Brave com uma única porta, aberta para os dois ou fechada para os dois. A página do Brave indica uma tag noindex, uma linha no código da página que pede aos buscadores que a deixem de fora, e o Google também respeita essa tag. Dá para ver sua própria exposição: o Search Engine Journal sugere digitar site: e seu domínio em search.brave.com, porque esses resultados vêm do índice vendido a empresas de IA.

O Search Engine Journal deixa em aberto se o Claude usa o Brave hoje. A busca na web está no plano Free do Claude, de US$ 0, na nossa tabela de preços, na verificação de 6 de novembro, e esse plano não cita fornecedor de busca.

Para uma página no ar, noindex é a saída listada e também tira a página do Google, então o preço de sair de um índice vendido à IA é o tráfego do Google daquela página.