Claude-User: token robots, verifica, consentire o bloccare

Questa pagina e tradotta automaticamente. I numeri e le prove provengono invariati dalle osservazioni memorizzate.

All 21 documented crawlers

Identita

Vendor text: 'When individuals ask questions to Claude, it may access websites using a Claude-User agent.' Disabling it is documented to reduce visibility for user directed web search. The three documented Anthropic robots share one published IP range file, which is what verifies a hit carrying this token. Read again on 2026-09-17.

Consentire o bloccare

User-agent: Claude-User
Allow: /

User-agent: Claude-User
Disallow: /

Una regola del file robots.txt e una richiesta che un crawler educato rispetta. Non e un controllo di accesso, e questa pagina non dice a nessuno cosa scegliere.

Build a robots.txt with Claude-User and every other documented token

Domande

Claude-User rispetta il file robots.txt?

La documentazione del fornitore all'indirizzo https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler afferma che Claude-User rispetta il file robots.txt. Abbiamo scaricato quella pagina e ha risposto al nostro verificatore il 2026-09-17. Questo registra cio che il fornitore documenta, non cio che ha fatto una singola richiesta.

Come consento Claude-User nel file robots.txt?

Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: Claude-User Allow: /. Secondo la RFC 9309 il token viene confrontato senza distinzione tra maiuscole e minuscole come sottostringa dello user agent, e vince la regola corrispondente piu lunga.

Come blocco Claude-User nel file robots.txt?

Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: Claude-User Disallow: /. Una regola del file robots.txt e una richiesta che un crawler educato rispetta; non e un controllo di accesso.

Come verifico che una richiesta provenga davvero da Claude-User?

Il fornitore pubblica all'indirizzo https://claude.com/crawling/bots.json gli intervalli di indirizzi IP da cui questo crawler scarica. Confronta l'indirizzo della richiesta con quel file. Una stringa di user agent da sola non prova nulla, perche chiunque puo inviarla.

Che cosa misuriamo

Dei 12976 domini censiti di cui abbiamo letto il file robots.txt, 739 bloccano Claude-User per / e 12237 lo consentono, cioe il 5.7% bloccato, settimana 2026-W43. Solo conteggi: nessun dominio viene nominato.

L'indice settimanale di accesso dei crawler di IA

Fonti

Dati liberi

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

Verifica un dominio con tutti i token

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch e un osservatorio indipendente e fattuale. Non e affiliato ad alcun fornitore di crawler, non e approvato da nessuno e non parla per nessuno. Ogni affermazione e un'osservazione con la data in cui e stata fatta e la prova grezza che la sostiene: una riga del file robots.txt, un codice di stato HTTP, un'intestazione. Qui non ci sono punteggi, voti o verdetti, e nulla in questa pagina e un consiglio. Un sito puo chiedere l'esclusione in qualsiasi momento e l'esclusione e rispettata in modo automatico e permanente.