ClaudeBot: token de robots, verificacao, permitir ou bloquear

Esta pagina foi traduzida automaticamente. Os numeros e as provas vem sem alteracao das observacoes guardadas.

All 21 documented crawlers

Identidade

Vendor text: 'ClaudeBot helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training.' The vendor began publishing an IP range file on 2026-08-18 and links it from the help article, so a hit carrying this token is now checked against that file and recorded as verified or spoofed rather than unverifiable (same rule as app/botverify.py). No reverse DNS convention is documented. Read again on 2026-09-17.

Permitir ou bloquear

User-agent: ClaudeBot
Allow: /

User-agent: ClaudeBot
Disallow: /

Uma regra do robots.txt e um pedido que um rastreador bem comportado atende. Nao e um controle de acesso, e esta pagina nao diz a ninguem o que escolher.

Build a robots.txt with ClaudeBot and every other documented token

Perguntas

O ClaudeBot respeita o robots.txt?

A documentacao do fornecedor em https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler afirma que o ClaudeBot respeita o robots.txt. Baixamos essa pagina e ela respondeu ao nosso verificador em 2026-09-17. Isto registra o que o fornecedor documenta, nao o que uma requisicao especifica fez.

Como permito o ClaudeBot no robots.txt?

Adicione este grupo ao robots.txt na raiz do host: User-agent: ClaudeBot Allow: /. Pela RFC 9309 o token e comparado sem diferenciar maiusculas como subcadeia do user agent, e vence a regra correspondente mais longa.

Como bloqueio o ClaudeBot no robots.txt?

Adicione este grupo ao robots.txt na raiz do host: User-agent: ClaudeBot Disallow: /. Uma regra do robots.txt e um pedido que um rastreador bem comportado atende; nao e um controle de acesso.

Como verifico se uma requisicao veio mesmo do ClaudeBot?

O fornecedor publica em https://claude.com/crawling/bots.json as faixas de enderecos IP de onde este rastreador busca. Compare o endereco da requisicao com esse arquivo. Uma cadeia de user agent sozinha nao prova nada, porque qualquer um pode envia la.

O que medimos

Dos 12976 dominios cadastrados cujo robots.txt lemos, 1649 bloqueiam o ClaudeBot para / e 11327 o permitem, ou seja 12.7% bloqueados, semana 2026-W43. Apenas contagens: nenhum dominio e nomeado.

O indice semanal de acesso dos rastreadores de IA

Fontes

Dados livres

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

Verificar um dominio com todos os tokens

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

O AEO Watch e um monitor independente e factual. Nao tem vinculo com nenhum fornecedor de rastreadores, nao e endossado por nenhum e nao fala por nenhum. Cada afirmacao e uma observacao com a data em que foi feita e a prova bruta por tras dela: uma linha do robots.txt, um codigo de estado HTTP, um cabecalho. Aqui nao ha notas, classificacoes ou vereditos, e nada nesta pagina e aconselhamento. Um site pode pedir exclusao a qualquer momento e a exclusao e respeitada de forma automatica e permanente.