ClaudeBot: token de robots, verificacion, permitir o bloquear

Esta pagina esta traducida automaticamente. Las cifras y la evidencia proceden sin cambios de las observaciones almacenadas.

All 21 documented crawlers

Identidad

Vendor text: 'ClaudeBot helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training.' The vendor began publishing an IP range file on 2026-08-18 and links it from the help article, so a hit carrying this token is now checked against that file and recorded as verified or spoofed rather than unverifiable (same rule as app/botverify.py). No reverse DNS convention is documented. Read again on 2026-09-17.

Permitir o bloquear

User-agent: ClaudeBot
Allow: /

User-agent: ClaudeBot
Disallow: /

Una regla del archivo robots.txt es una peticion que un rastreador bien educado atiende. No es un control de acceso, y esta pagina no le dice a nadie que elegir.

Build a robots.txt with ClaudeBot and every other documented token

Preguntas

Respeta ClaudeBot el archivo robots.txt?

La documentacion del proveedor en https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler indica que ClaudeBot respeta el archivo robots.txt. Descargamos esa pagina y respondio a nuestro verificador el 2026-09-17. Esto registra lo que documenta el proveedor, no lo que hizo una peticion concreta.

Como permito ClaudeBot en el archivo robots.txt?

Anada este grupo al archivo robots.txt en la raiz del host: User-agent: ClaudeBot Allow: /. Segun la RFC 9309 el token se compara sin distinguir mayusculas como subcadena del user agent, y gana la regla coincidente mas larga.

Como bloqueo ClaudeBot en el archivo robots.txt?

Anada este grupo al archivo robots.txt en la raiz del host: User-agent: ClaudeBot Disallow: /. Una regla del archivo robots.txt es una peticion que un rastreador bien educado atiende; no es un control de acceso.

Como compruebo que una peticion vino realmente de ClaudeBot?

El proveedor publica en https://claude.com/crawling/bots.json los rangos de direcciones IP desde los que rastrea. Compare la direccion de la peticion con ese archivo. Una cadena de user agent por si sola no prueba nada, porque cualquiera puede enviarla.

Lo que medimos

De los 12977 dominios registrados cuyo archivo robots.txt hemos leido, 1651 bloquean ClaudeBot para / y 11326 lo permiten, es decir un 12.7% bloqueado, semana 2026-W43. Solo recuentos: no se nombra ningun dominio.

El indice semanal de acceso de los rastreadores de IA

Fuentes

Datos libres

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

Comprobar un dominio con todos los tokens

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch es un monitor independiente y factual. No esta afiliado a ningun proveedor de rastreadores, ninguno lo respalda y no habla en nombre de ninguno. Cada afirmacion es una observacion con la fecha en que se hizo y la prueba en bruto que la sostiene: una linea del archivo robots.txt, un codigo de estado HTTP, una cabecera. Aqui no hay puntuaciones, ni calificaciones, ni veredictos, y nada de esta pagina es un consejo. Un sitio puede excluirse en cualquier momento y la exclusion se respeta de forma automatica y permanente.