anthropic-ai: token de robots, verificacao, permitir ou bloquear
Esta pagina foi traduzida automaticamente. Os numeros e as provas vem sem alteracao das observacoes guardadas.
anthropic-ai e um rastreador de IA operado por Anthropic. Seu token de robots.txt e anthropic-ai, e a documentacao do fornecedor que baixamos em 2026-09-06 e a fonte de cada afirmacao desta pagina.
| Token de robots | anthropic-ai |
|---|---|
| Fornecedor | Anthropic |
| Finalidade | undocumented |
| Verificacao documentada | nenhuma publicada |
| Documentacao do fornecedor verificada pela ultima vez | 2026-09-06 |
| Parcela dos dominios lidos que o bloqueiam para / | 7.8% of 128 |
| Last verified |
Identidade
| Token de robots | anthropic-ai |
|---|---|
| Comparado como | anthropic-ai |
| Fornecedor | Anthropic |
| Finalidade | undocumented |
| Documentacao | None |
| Verificacao documentada | nenhuma publicada |
documentation_url is null on purpose: the vendor help article fetched on 2026-09-06 documents three robots (ClaudeBot, Claude-User, Claude-SearchBot) and contains zero occurrences of 'anthropic-ai'. The token is still widely present in site robots.txt files, so it stays in the registry as a legacy token whose current behaviour the vendor does not document.
Permitir ou bloquear
User-agent: anthropic-ai Allow: /
User-agent: anthropic-ai Disallow: /
Uma regra do robots.txt e um pedido que um rastreador bem comportado atende. Nao e um controle de acesso, e esta pagina nao diz a ninguem o que escolher.
Perguntas
Como permito o anthropic-ai no robots.txt?
Adicione este grupo ao robots.txt na raiz do host: User-agent: anthropic-ai Allow: /. Pela RFC 9309 o token e comparado sem diferenciar maiusculas como subcadeia do user agent, e vence a regra correspondente mais longa.
Como bloqueio o anthropic-ai no robots.txt?
Adicione este grupo ao robots.txt na raiz do host: User-agent: anthropic-ai Disallow: /. Uma regra do robots.txt e um pedido que um rastreador bem comportado atende; nao e um controle de acesso.
Como verifico se uma requisicao veio mesmo do anthropic-ai?
Nao encontramos um metodo de verificacao documentado para o anthropic-ai: o fornecedor nao publica nem arquivo de faixas IP nem convencao de DNS reverso que pudessemos baixar. Sem isso, uma cadeia de user agent nao e prova de origem.
O que medimos
Dos 128 dominios cadastrados cujo robots.txt lemos, 10 bloqueiam o anthropic-ai para / e 118 o permitem, ou seja 7.8% bloqueados, semana 2026-W37. Apenas contagens: nenhum dominio e nomeado.
O indice semanal de acesso dos rastreadores de IA
Fontes
| Fonte | Tipo | HTTP | Verificado | Observacao |
|---|---|---|---|---|
| https://darkvisitors.com/agents/anthropic-ai | aggregator | 200 | 2026-09-06 | only source found; third party, not the vendor; volatile source: identical byte count but a different content hash on every fetch (verified twice on 2026-09-06), so the refresher compares byte counts for it, not hashes |
| https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler | vendor | 200 | 2026-09-06 | negative evidence: 0 occurrences of anthropic-ai |
Dados livres
Verificar um dominio com todos os tokens
O AEO Watch e um monitor independente e factual. Nao tem vinculo com nenhum fornecedor de rastreadores, nao e endossado por nenhum e nao fala por nenhum. Cada afirmacao e uma observacao com a data em que foi feita e a prova bruta por tras dela: uma linha do robots.txt, um codigo de estado HTTP, um cabecalho. Aqui nao ha notas, classificacoes ou vereditos, e nada nesta pagina e aconselhamento. Um site pode pedir exclusao a qualquer momento e a exclusao e respeitada de forma automatica e permanente.