La página de ayuda de Brave vincula su rastreador sin nombre con las reglas de Googlebot

Search Engine Journal explicó el mecanismo a los dueños de sitios el 6 de noviembre. El robots.txt, el archivo que indica a los rastreadores que no entren, funciona por nombre, y el rastreador de Brave no anuncia ninguno. Todo lo que se bloquea a Googlebot se bloquea también al rastreador de Brave, dice la página de ayuda de Brave, que da una razón para no tener un nombre aparte: algunos sitios solo admiten a Google.

Así, Googlebot y el rastreador de Brave comparten una sola puerta: abierta para ambos o cerrada para ambos. La página de Brave ofrece una etiqueta noindex, una línea en el código de la página que pide a los buscadores que la dejen fuera, y Google también respeta esa etiqueta. Puedes ver tu propia exposición: Search Engine Journal sugiere escribir site: y tu dominio en search.brave.com, porque esos resultados salen del índice que se vende a empresas de IA.

Search Engine Journal deja abierto si Claude usa hoy Brave. La búsqueda web está en el plan Free de Claude, de $0, en nuestra hoja de precios, según nuestra revisión del 6 de noviembre, y ese plan no nombra ningún proveedor de búsqueda.

Para una página activa, noindex es la vía de salida indicada y también la quita de Google, así que el precio de salir de un índice vendido a la IA es perder el tráfico de Google de esa página.