ClaudeBot: token de robots, verificacao, permitir ou bloquear
Esta pagina foi traduzida automaticamente. Os numeros e as provas vem sem alteracao das observacoes guardadas.
ClaudeBot e um rastreador de IA operado por Anthropic. Seu token de robots.txt e ClaudeBot, e a documentacao do fornecedor que baixamos em 2026-09-06 e a fonte de cada afirmacao desta pagina.
| Token de robots | ClaudeBot |
|---|---|
| Fornecedor | Anthropic |
| Finalidade | training corpus |
| Verificacao documentada | nenhuma publicada |
| Documentacao do fornecedor verificada pela ultima vez | 2026-09-06 |
| Parcela dos dominios lidos que o bloqueiam para / | 17.2% of 128 |
| Last verified |
Identidade
| Token de robots | ClaudeBot |
|---|---|
| Comparado como | claudebot |
| Fornecedor | Anthropic |
| Finalidade | training corpus |
| Documentacao | https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler |
| Verificacao documentada | nenhuma publicada |
Vendor text: 'ClaudeBot helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training.' No published IP ranges and no reverse DNS convention were found on 2026-09-06, so a hit carrying this token is recorded as unverifiable, never as verified (same rule as app/botverify.py).
Permitir ou bloquear
User-agent: ClaudeBot Allow: /
User-agent: ClaudeBot Disallow: /
Uma regra do robots.txt e um pedido que um rastreador bem comportado atende. Nao e um controle de acesso, e esta pagina nao diz a ninguem o que escolher.
Perguntas
O ClaudeBot respeita o robots.txt?
A documentacao do fornecedor em https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler afirma que o ClaudeBot respeita o robots.txt. Baixamos essa pagina e ela respondeu ao nosso verificador em 2026-09-06. Isto registra o que o fornecedor documenta, nao o que uma requisicao especifica fez.
Como permito o ClaudeBot no robots.txt?
Adicione este grupo ao robots.txt na raiz do host: User-agent: ClaudeBot Allow: /. Pela RFC 9309 o token e comparado sem diferenciar maiusculas como subcadeia do user agent, e vence a regra correspondente mais longa.
Como bloqueio o ClaudeBot no robots.txt?
Adicione este grupo ao robots.txt na raiz do host: User-agent: ClaudeBot Disallow: /. Uma regra do robots.txt e um pedido que um rastreador bem comportado atende; nao e um controle de acesso.
Como verifico se uma requisicao veio mesmo do ClaudeBot?
Nao encontramos um metodo de verificacao documentado para o ClaudeBot: o fornecedor nao publica nem arquivo de faixas IP nem convencao de DNS reverso que pudessemos baixar. Sem isso, uma cadeia de user agent nao e prova de origem.
O que medimos
Dos 128 dominios cadastrados cujo robots.txt lemos, 22 bloqueiam o ClaudeBot para / e 106 o permitem, ou seja 17.2% bloqueados, semana 2026-W37. Apenas contagens: nenhum dominio e nomeado.
O indice semanal de acesso dos rastreadores de IA
Fontes
| Fonte | Tipo | HTTP | Verificado | Observacao |
|---|---|---|---|---|
| https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler | vendor | 200 | 2026-09-06 | URL taken from the support.claude.com sitemap, not guessed; 12 occurrences of ClaudeBot and the exact snippet 'User-agent: ClaudeBot Disallow: /' in the body |
| https://darkvisitors.com/agents/claudebot | aggregator | 200 | 2026-09-06 | third-party aggregator, redirects to knownagents.com; corroboration only; volatile source: identical byte count but a different content hash on every fetch (verified twice on 2026-09-06), so the refresher compares byte counts for it, not hashes |
Dados livres
Verificar um dominio com todos os tokens
O AEO Watch e um monitor independente e factual. Nao tem vinculo com nenhum fornecedor de rastreadores, nao e endossado por nenhum e nao fala por nenhum. Cada afirmacao e uma observacao com a data em que foi feita e a prova bruta por tras dela: uma linha do robots.txt, um codigo de estado HTTP, um cabecalho. Aqui nao ha notas, classificacoes ou vereditos, e nada nesta pagina e aconselhamento. Um site pode pedir exclusao a qualquer momento e a exclusao e respeitada de forma automatica e permanente.