Amazonbot: token robots, verifica, consentire o bloccare

Questa pagina e tradotta automaticamente. I numeri e le prove provengono invariati dalle osservazioni memorizzate.

All 21 documented crawlers

Identita

Vendor text fetched on 2026-09-17: 'Automated crawling from these listed user agents respects the Robots Exclusion Protocol, honoring the user-agent and the allow/disallow directives.' The reverse DNS suffix comes from app/botverify.py (existing fleet data), not from this page. The published IP address URL recorded here is the one the vendor page names for Amazonbot itself; it answered http 200 on 2026-09-17. It had pointed at the list the same page names for Amzn-User, which is now a registry entry of its own.

Consentire o bloccare

User-agent: Amazonbot
Allow: /

User-agent: Amazonbot
Disallow: /

Una regola del file robots.txt e una richiesta che un crawler educato rispetta. Non e un controllo di accesso, e questa pagina non dice a nessuno cosa scegliere.

Build a robots.txt with Amazonbot and every other documented token

Domande

Amazonbot rispetta il file robots.txt?

La documentazione del fornitore all'indirizzo https://developer.amazon.com/amazonbot afferma che Amazonbot rispetta il file robots.txt. Abbiamo scaricato quella pagina e ha risposto al nostro verificatore il 2026-09-17. Questo registra cio che il fornitore documenta, non cio che ha fatto una singola richiesta.

Come consento Amazonbot nel file robots.txt?

Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: Amazonbot Allow: /. Secondo la RFC 9309 il token viene confrontato senza distinzione tra maiuscole e minuscole come sottostringa dello user agent, e vince la regola corrispondente piu lunga.

Come blocco Amazonbot nel file robots.txt?

Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: Amazonbot Disallow: /. Una regola del file robots.txt e una richiesta che un crawler educato rispetta; non e un controllo di accesso.

Come verifico che una richiesta provenga davvero da Amazonbot?

Il fornitore documenta la verifica tramite DNS inverso: risolvi l'indirizzo della richiesta, controlla che il nome termini con .crawl.amazonbot.amazon, poi risolvi di nuovo quel nome e conferma che riporta allo stesso indirizzo.

Che cosa misuriamo

Dei 12976 domini censiti di cui abbiamo letto il file robots.txt, 1463 bloccano Amazonbot per / e 11513 lo consentono, cioe il 11.3% bloccato, settimana 2026-W43. Solo conteggi: nessun dominio viene nominato.

L'indice settimanale di accesso dei crawler di IA

Fonti

Dati liberi

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

Verifica un dominio con tutti i token

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch e un osservatorio indipendente e fattuale. Non e affiliato ad alcun fornitore di crawler, non e approvato da nessuno e non parla per nessuno. Ogni affermazione e un'osservazione con la data in cui e stata fatta e la prova grezza che la sostiene: una riga del file robots.txt, un codice di stato HTTP, un'intestazione. Qui non ci sono punteggi, voti o verdetti, e nulla in questa pagina e un consiglio. Un sito puo chiedere l'esclusione in qualsiasi momento e l'esclusione e rispettata in modo automatico e permanente.