ClaudeBot: jeton robots, verification, autoriser ou bloquer

Cette page est traduite automatiquement. Les mesures et les preuves proviennent telles quelles des observations enregistrees.

All 21 documented crawlers

Identite

Vendor text: 'ClaudeBot helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training.' The vendor began publishing an IP range file on 2026-08-18 and links it from the help article, so a hit carrying this token is now checked against that file and recorded as verified or spoofed rather than unverifiable (same rule as app/botverify.py). No reverse DNS convention is documented. Read again on 2026-09-17.

Autoriser ou bloquer

User-agent: ClaudeBot
Allow: /

User-agent: ClaudeBot
Disallow: /

Une regle du fichier robots.txt est une demande qu'un robot bien eleve respecte. Ce n'est pas un controle d'acces, et cette page ne dit a personne quoi choisir.

Build a robots.txt with ClaudeBot and every other documented token

Questions

Est-ce que ClaudeBot respecte le fichier robots.txt?

La documentation de l'editeur a l'adresse https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler indique que ClaudeBot respecte le fichier robots.txt. Nous avons telecharge cette page et elle a repondu a notre verificateur le 2026-09-17. Cela enregistre ce que l'editeur documente, pas ce qu'une requete particuliere a fait.

Comment autoriser ClaudeBot dans le fichier robots.txt?

Ajoutez ce groupe au fichier robots.txt place a la racine de l'hote: User-agent: ClaudeBot Allow: /. Selon la RFC 9309, le jeton est compare sans tenir compte de la casse comme sous chaine du user agent, et la regle correspondante la plus longue l'emporte.

Comment bloquer ClaudeBot dans le fichier robots.txt?

Ajoutez ce groupe au fichier robots.txt place a la racine de l'hote: User-agent: ClaudeBot Disallow: /. Une regle du fichier robots.txt est une demande qu'un robot bien eleve respecte; ce n'est pas un controle d'acces.

Comment verifier qu'une requete vient reellement de ClaudeBot?

L'editeur publie a l'adresse https://claude.com/crawling/bots.json les plages d'adresses IP depuis lesquelles ce robot telecharge. Comparez l'adresse de la requete a ce fichier. Une chaine de user agent seule ne prouve rien, car n'importe qui peut l'envoyer.

Ce que nous mesurons

Sur les 12976 domaines recenses dont nous avons lu le fichier robots.txt, 1649 bloquent ClaudeBot pour / et 11327 l'autorisent, soit 12.7% de blocage, semaine 2026-W43. Uniquement des comptes: aucun domaine n'est nomme.

L'index hebdomadaire de l'acces des robots d'IA

Sources

Donnees libres

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

Verifier un domaine pour tous les jetons

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch est un observateur independant et factuel. Il n'est affilie a aucun editeur de robot, n'est soutenu par aucun et ne parle au nom d'aucun. Chaque affirmation est une observation portant la date a laquelle elle a ete faite et la preuve brute qui la fonde: une ligne du fichier robots.txt, un code d'etat HTTP, un en tete. Il n'y a ici ni note, ni classement, ni verdict, et rien sur cette page n'est un conseil. Un site peut se retirer a tout moment et ce retrait est respecte automatiquement et definitivement.