Claude-SearchBot: token de robots, verificacao, permitir ou bloquear

Esta pagina foi traduzida automaticamente. Os numeros e as provas vem sem alteracao das observacoes guardadas.

All 21 documented crawlers

Identidade

Third robot documented by the vendor: 'Claude-SearchBot navigates the web to improve search result quality for users.' It shares the one published IP range file with the other two Anthropic robots, and it was added to app/main.AI_CRAWLERS on 2026-09-17, so hits carrying it are bucketed and verified like theirs instead of going uncounted.

Permitir ou bloquear

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-SearchBot
Disallow: /

Uma regra do robots.txt e um pedido que um rastreador bem comportado atende. Nao e um controle de acesso, e esta pagina nao diz a ninguem o que escolher.

Build a robots.txt with Claude-SearchBot and every other documented token

Perguntas

O Claude-SearchBot respeita o robots.txt?

A documentacao do fornecedor em https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler afirma que o Claude-SearchBot respeita o robots.txt. Baixamos essa pagina e ela respondeu ao nosso verificador em 2026-09-17. Isto registra o que o fornecedor documenta, nao o que uma requisicao especifica fez.

Como permito o Claude-SearchBot no robots.txt?

Adicione este grupo ao robots.txt na raiz do host: User-agent: Claude-SearchBot Allow: /. Pela RFC 9309 o token e comparado sem diferenciar maiusculas como subcadeia do user agent, e vence a regra correspondente mais longa.

Como bloqueio o Claude-SearchBot no robots.txt?

Adicione este grupo ao robots.txt na raiz do host: User-agent: Claude-SearchBot Disallow: /. Uma regra do robots.txt e um pedido que um rastreador bem comportado atende; nao e um controle de acesso.

Como verifico se uma requisicao veio mesmo do Claude-SearchBot?

O fornecedor publica em https://claude.com/crawling/bots.json as faixas de enderecos IP de onde este rastreador busca. Compare o endereco da requisicao com esse arquivo. Uma cadeia de user agent sozinha nao prova nada, porque qualquer um pode envia la.

O que medimos

Dos 12976 dominios cadastrados cujo robots.txt lemos, 721 bloqueiam o Claude-SearchBot para / e 12255 o permitem, ou seja 5.6% bloqueados, semana 2026-W43. Apenas contagens: nenhum dominio e nomeado.

O indice semanal de acesso dos rastreadores de IA

Fontes

Dados livres

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

Verificar um dominio com todos os tokens

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

O AEO Watch e um monitor independente e factual. Nao tem vinculo com nenhum fornecedor de rastreadores, nao e endossado por nenhum e nao fala por nenhum. Cada afirmacao e uma observacao com a data em que foi feita e a prova bruta por tras dela: uma linha do robots.txt, um codigo de estado HTTP, um cabecalho. Aqui nao ha notas, classificacoes ou vereditos, e nada nesta pagina e aconselhamento. Um site pode pedir exclusao a qualquer momento e a exclusao e respeitada de forma automatica e permanente.