ClaudeBot: token de robots, verificacion, permitir o bloquear
Esta pagina esta traducida automaticamente. Las cifras y la evidencia proceden sin cambios de las observaciones almacenadas.
ClaudeBot es un rastreador de IA operado por Anthropic. Su token de robots.txt es ClaudeBot, y la documentacion del proveedor que descargamos el 2026-09-06 es la fuente de cada afirmacion de esta pagina.
| Token de robots | ClaudeBot |
|---|---|
| Proveedor | Anthropic |
| Finalidad | training corpus |
| Verificacion documentada | ninguno publicado |
| Documentacion del proveedor verificada por ultima vez | 2026-09-06 |
| Proporcion de dominios leidos que lo bloquean para / | 17.2% of 128 |
| Last verified |
Identidad
| Token de robots | ClaudeBot |
|---|---|
| Comparado como | claudebot |
| Proveedor | Anthropic |
| Finalidad | training corpus |
| Documentacion | https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler |
| Verificacion documentada | ninguno publicado |
Vendor text: 'ClaudeBot helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training.' No published IP ranges and no reverse DNS convention were found on 2026-09-06, so a hit carrying this token is recorded as unverifiable, never as verified (same rule as app/botverify.py).
Permitir o bloquear
User-agent: ClaudeBot Allow: /
User-agent: ClaudeBot Disallow: /
Una regla del archivo robots.txt es una peticion que un rastreador bien educado atiende. No es un control de acceso, y esta pagina no le dice a nadie que elegir.
Preguntas
Respeta ClaudeBot el archivo robots.txt?
La documentacion del proveedor en https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler indica que ClaudeBot respeta el archivo robots.txt. Descargamos esa pagina y respondio a nuestro verificador el 2026-09-06. Esto registra lo que documenta el proveedor, no lo que hizo una peticion concreta.
Como permito ClaudeBot en el archivo robots.txt?
Anada este grupo al archivo robots.txt en la raiz del host: User-agent: ClaudeBot Allow: /. Segun la RFC 9309 el token se compara sin distinguir mayusculas como subcadena del user agent, y gana la regla coincidente mas larga.
Como bloqueo ClaudeBot en el archivo robots.txt?
Anada este grupo al archivo robots.txt en la raiz del host: User-agent: ClaudeBot Disallow: /. Una regla del archivo robots.txt es una peticion que un rastreador bien educado atiende; no es un control de acceso.
Como compruebo que una peticion vino realmente de ClaudeBot?
No hemos encontrado un metodo de comprobacion documentado para ClaudeBot: el proveedor no publica ni un archivo de rangos IP ni una convencion de DNS inverso que pudieramos descargar. Sin eso, una cadena de user agent no es prueba de origen.
Lo que medimos
De los 128 dominios registrados cuyo archivo robots.txt hemos leido, 22 bloquean ClaudeBot para / y 106 lo permiten, es decir un 17.2% bloqueado, semana 2026-W37. Solo recuentos: no se nombra ningun dominio.
El indice semanal de acceso de los rastreadores de IA
Fuentes
| Fuente | Tipo | HTTP | Verificado | Nota |
|---|---|---|---|---|
| https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler | vendor | 200 | 2026-09-06 | URL taken from the support.claude.com sitemap, not guessed; 12 occurrences of ClaudeBot and the exact snippet 'User-agent: ClaudeBot Disallow: /' in the body |
| https://darkvisitors.com/agents/claudebot | aggregator | 200 | 2026-09-06 | third-party aggregator, redirects to knownagents.com; corroboration only; volatile source: identical byte count but a different content hash on every fetch (verified twice on 2026-09-06), so the refresher compares byte counts for it, not hashes |
Datos libres
Comprobar un dominio con todos los tokens
AEO Watch es un monitor independiente y factual. No esta afiliado a ningun proveedor de rastreadores, ninguno lo respalda y no habla en nombre de ninguno. Cada afirmacion es una observacion con la fecha en que se hizo y la prueba en bruto que la sostiene: una linea del archivo robots.txt, un codigo de estado HTTP, una cabecera. Aqui no hay puntuaciones, ni calificaciones, ni veredictos, y nada de esta pagina es un consejo. Un sitio puede excluirse en cualquier momento y la exclusion se respeta de forma automatica y permanente.