Claude-SearchBot: token robots, verifica, consentire o bloccare

Questa pagina e tradotta automaticamente. I numeri e le prove provengono invariati dalle osservazioni memorizzate.

All 21 documented crawlers

Identita

Third robot documented by the vendor: 'Claude-SearchBot navigates the web to improve search result quality for users.' It shares the one published IP range file with the other two Anthropic robots, and it was added to app/main.AI_CRAWLERS on 2026-09-17, so hits carrying it are bucketed and verified like theirs instead of going uncounted.

Consentire o bloccare

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-SearchBot
Disallow: /

Una regola del file robots.txt e una richiesta che un crawler educato rispetta. Non e un controllo di accesso, e questa pagina non dice a nessuno cosa scegliere.

Build a robots.txt with Claude-SearchBot and every other documented token

Domande

Claude-SearchBot rispetta il file robots.txt?

La documentazione del fornitore all'indirizzo https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler afferma che Claude-SearchBot rispetta il file robots.txt. Abbiamo scaricato quella pagina e ha risposto al nostro verificatore il 2026-09-17. Questo registra cio che il fornitore documenta, non cio che ha fatto una singola richiesta.

Come consento Claude-SearchBot nel file robots.txt?

Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: Claude-SearchBot Allow: /. Secondo la RFC 9309 il token viene confrontato senza distinzione tra maiuscole e minuscole come sottostringa dello user agent, e vince la regola corrispondente piu lunga.

Come blocco Claude-SearchBot nel file robots.txt?

Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: Claude-SearchBot Disallow: /. Una regola del file robots.txt e una richiesta che un crawler educato rispetta; non e un controllo di accesso.

Come verifico che una richiesta provenga davvero da Claude-SearchBot?

Il fornitore pubblica all'indirizzo https://claude.com/crawling/bots.json gli intervalli di indirizzi IP da cui questo crawler scarica. Confronta l'indirizzo della richiesta con quel file. Una stringa di user agent da sola non prova nulla, perche chiunque puo inviarla.

Che cosa misuriamo

Dei 12976 domini censiti di cui abbiamo letto il file robots.txt, 721 bloccano Claude-SearchBot per / e 12255 lo consentono, cioe il 5.6% bloccato, settimana 2026-W43. Solo conteggi: nessun dominio viene nominato.

L'indice settimanale di accesso dei crawler di IA

Fonti

Dati liberi

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

Verifica un dominio con tutti i token

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch e un osservatorio indipendente e fattuale. Non e affiliato ad alcun fornitore di crawler, non e approvato da nessuno e non parla per nessuno. Ogni affermazione e un'osservazione con la data in cui e stata fatta e la prova grezza che la sostiene: una riga del file robots.txt, un codice di stato HTTP, un'intestazione. Qui non ci sono punteggi, voti o verdetti, e nulla in questa pagina e un consiglio. Un sito puo chiedere l'esclusione in qualsiasi momento e l'esclusione e rispettata in modo automatico e permanente.