ClaudeBot: token robots, verifica, consentire o bloccare

Questa pagina e tradotta automaticamente. I numeri e le prove provengono invariati dalle osservazioni memorizzate.

All 21 documented crawlers

Identita

Vendor text: 'ClaudeBot helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training.' The vendor began publishing an IP range file on 2026-08-18 and links it from the help article, so a hit carrying this token is now checked against that file and recorded as verified or spoofed rather than unverifiable (same rule as app/botverify.py). No reverse DNS convention is documented. Read again on 2026-09-17.

Consentire o bloccare

User-agent: ClaudeBot
Allow: /

User-agent: ClaudeBot
Disallow: /

Una regola del file robots.txt e una richiesta che un crawler educato rispetta. Non e un controllo di accesso, e questa pagina non dice a nessuno cosa scegliere.

Build a robots.txt with ClaudeBot and every other documented token

Domande

ClaudeBot rispetta il file robots.txt?

La documentazione del fornitore all'indirizzo https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler afferma che ClaudeBot rispetta il file robots.txt. Abbiamo scaricato quella pagina e ha risposto al nostro verificatore il 2026-09-17. Questo registra cio che il fornitore documenta, non cio che ha fatto una singola richiesta.

Come consento ClaudeBot nel file robots.txt?

Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: ClaudeBot Allow: /. Secondo la RFC 9309 il token viene confrontato senza distinzione tra maiuscole e minuscole come sottostringa dello user agent, e vince la regola corrispondente piu lunga.

Come blocco ClaudeBot nel file robots.txt?

Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: ClaudeBot Disallow: /. Una regola del file robots.txt e una richiesta che un crawler educato rispetta; non e un controllo di accesso.

Come verifico che una richiesta provenga davvero da ClaudeBot?

Il fornitore pubblica all'indirizzo https://claude.com/crawling/bots.json gli intervalli di indirizzi IP da cui questo crawler scarica. Confronta l'indirizzo della richiesta con quel file. Una stringa di user agent da sola non prova nulla, perche chiunque puo inviarla.

Che cosa misuriamo

Dei 12976 domini censiti di cui abbiamo letto il file robots.txt, 1649 bloccano ClaudeBot per / e 11327 lo consentono, cioe il 12.7% bloccato, settimana 2026-W43. Solo conteggi: nessun dominio viene nominato.

L'indice settimanale di accesso dei crawler di IA

Fonti

Dati liberi

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

Verifica un dominio con tutti i token

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch e un osservatorio indipendente e fattuale. Non e affiliato ad alcun fornitore di crawler, non e approvato da nessuno e non parla per nessuno. Ogni affermazione e un'osservazione con la data in cui e stata fatta e la prova grezza che la sostiene: una riga del file robots.txt, un codice di stato HTTP, un'intestazione. Qui non ci sono punteggi, voti o verdetti, e nulla in questa pagina e un consiglio. Un sito puo chiedere l'esclusione in qualsiasi momento e l'esclusione e rispettata in modo automatico e permanente.