anthropic-ai: token robots, verifica, consentire o bloccare
Questa pagina e tradotta automaticamente. I numeri e le prove provengono invariati dalle osservazioni memorizzate.
anthropic-ai e un crawler di IA gestito da Anthropic. Il suo token robots.txt e anthropic-ai, e la documentazione del fornitore che abbiamo scaricato il 2026-09-06 e la fonte di ogni affermazione in questa pagina.
| Token robots | anthropic-ai |
|---|---|
| Fornitore | Anthropic |
| Finalita | undocumented |
| Verifica documentata | nessuno pubblicato |
| Documentazione del fornitore verificata l'ultima volta | 2026-09-06 |
| Quota dei domini letti che lo bloccano per / | 7.8% of 128 |
| Last verified |
Identita
| Token robots | anthropic-ai |
|---|---|
| Confrontato come | anthropic-ai |
| Fornitore | Anthropic |
| Finalita | undocumented |
| Documentazione | None |
| Verifica documentata | nessuno pubblicato |
documentation_url is null on purpose: the vendor help article fetched on 2026-09-06 documents three robots (ClaudeBot, Claude-User, Claude-SearchBot) and contains zero occurrences of 'anthropic-ai'. The token is still widely present in site robots.txt files, so it stays in the registry as a legacy token whose current behaviour the vendor does not document.
Consentire o bloccare
User-agent: anthropic-ai Allow: /
User-agent: anthropic-ai Disallow: /
Una regola del file robots.txt e una richiesta che un crawler educato rispetta. Non e un controllo di accesso, e questa pagina non dice a nessuno cosa scegliere.
Domande
Come consento anthropic-ai nel file robots.txt?
Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: anthropic-ai Allow: /. Secondo la RFC 9309 il token viene confrontato senza distinzione tra maiuscole e minuscole come sottostringa dello user agent, e vince la regola corrispondente piu lunga.
Come blocco anthropic-ai nel file robots.txt?
Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: anthropic-ai Disallow: /. Una regola del file robots.txt e una richiesta che un crawler educato rispetta; non e un controllo di accesso.
Come verifico che una richiesta provenga davvero da anthropic-ai?
Non abbiamo trovato un metodo di verifica documentato per anthropic-ai: il fornitore non pubblica ne un file di intervalli IP ne una convenzione di DNS inverso che potessimo scaricare. Senza di essi, una stringa di user agent non e prova dell'origine.
Che cosa misuriamo
Dei 128 domini censiti di cui abbiamo letto il file robots.txt, 10 bloccano anthropic-ai per / e 118 lo consentono, cioe il 7.8% bloccato, settimana 2026-W37. Solo conteggi: nessun dominio viene nominato.
L'indice settimanale di accesso dei crawler di IA
Fonti
| Fonte | Tipo | HTTP | Verificato | Nota |
|---|---|---|---|---|
| https://darkvisitors.com/agents/anthropic-ai | aggregator | 200 | 2026-09-06 | only source found; third party, not the vendor; volatile source: identical byte count but a different content hash on every fetch (verified twice on 2026-09-06), so the refresher compares byte counts for it, not hashes |
| https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler | vendor | 200 | 2026-09-06 | negative evidence: 0 occurrences of anthropic-ai |
Dati liberi
Verifica un dominio con tutti i token
AEO Watch e un osservatorio indipendente e fattuale. Non e affiliato ad alcun fornitore di crawler, non e approvato da nessuno e non parla per nessuno. Ogni affermazione e un'osservazione con la data in cui e stata fatta e la prova grezza che la sostiene: una riga del file robots.txt, un codice di stato HTTP, un'intestazione. Qui non ci sono punteggi, voti o verdetti, e nulla in questa pagina e un consiglio. Un sito puo chiedere l'esclusione in qualsiasi momento e l'esclusione e rispettata in modo automatico e permanente.