Brave 도움말, 이름 없는 크롤러가 Googlebot 규칙을 따른다고 밝혀

Search Engine Journal은 11월 6일 사이트 운영자를 위해 작동 방식을 정리했습니다. 크롤러의 접근을 막는 파일인 robots.txt는 크롤러 이름으로 작동하는데, Brave의 크롤러는 이름을 내세우지 않습니다. Brave 도움말에 따르면 Googlebot에 막힌 것은 Brave 크롤러에도 막히며, 별도 이름을 두지 않은 이유로는 Google만 허용하는 사이트가 있다는 점을 듭니다.

결국 Googlebot과 Brave 크롤러는 같은 문을 쓰는 셈이어서, 둘 다 들어오거나 둘 다 막힙니다. Brave 페이지가 안내하는 방법은 noindex 태그로, 검색엔진에 해당 페이지를 제외해 달라고 요청하는 코드 한 줄이며 Google도 이 태그를 따릅니다. 내 사이트가 얼마나 노출됐는지도 확인할 수 있습니다. Search Engine Journal은 search.brave.com에 site:와 도메인을 입력해 보라고 권합니다. 그 결과가 AI 기업에 판매되는 인덱스에서 나오기 때문입니다.

Claude가 현재 Brave를 쓰는지는 Search Engine Journal도 확답하지 않았습니다. 가격표에서 Claude의 0달러 Free 플랜에는 웹 검색이 포함돼 있으며(11월 6일 확인 기준), 이 플랜은 검색 공급사를 밝히지 않습니다.

운영 중인 페이지라면 안내된 제외 방법은 noindex뿐이고, 이는 해당 페이지를 Google에서도 지웁니다. AI에 팔리는 인덱스에서 빠지는 대가가 그 페이지의 Google 트래픽인 셈입니다.