Googlebot: token robots, verifica, consentire o bloccare

Questa pagina e tradotta automaticamente. I numeri e le prove provengono invariati dalle osservazioni memorizzate.

All 21 documented crawlers

Identita

Included because AI answers frequently ground on the Google index. The reverse DNS suffixes are the ones app/botverify.py already forward confirms.

Consentire o bloccare

User-agent: Googlebot
Allow: /

User-agent: Googlebot
Disallow: /

Una regola del file robots.txt e una richiesta che un crawler educato rispetta. Non e un controllo di accesso, e questa pagina non dice a nessuno cosa scegliere.

Build a robots.txt with Googlebot and every other documented token

Domande

Googlebot rispetta il file robots.txt?

La documentazione del fornitore all'indirizzo https://developers.google.com/search/docs/crawling-indexing/googlebot afferma che Googlebot rispetta il file robots.txt. Abbiamo scaricato quella pagina e ha risposto al nostro verificatore il 2026-09-06. Questo registra cio che il fornitore documenta, non cio che ha fatto una singola richiesta.

Come consento Googlebot nel file robots.txt?

Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: Googlebot Allow: /. Secondo la RFC 9309 il token viene confrontato senza distinzione tra maiuscole e minuscole come sottostringa dello user agent, e vince la regola corrispondente piu lunga.

Come blocco Googlebot nel file robots.txt?

Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: Googlebot Disallow: /. Una regola del file robots.txt e una richiesta che un crawler educato rispetta; non e un controllo di accesso.

Come verifico che una richiesta provenga davvero da Googlebot?

Il fornitore pubblica sia un file di intervalli IP (https://developers.google.com/static/search/apis/ipranges/googlebot.json) sia una convenzione di DNS inverso. Entrambe le verifiche sono documentate; e l'indirizzo a provare la richiesta, mai la stringa di user agent.

Che cosa misuriamo

Dei 12976 domini censiti di cui abbiamo letto il file robots.txt, 276 bloccano Googlebot per / e 12700 lo consentono, cioe il 2.1% bloccato, settimana 2026-W43. Solo conteggi: nessun dominio viene nominato.

L'indice settimanale di accesso dei crawler di IA

Fonti

Dati liberi

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

Verifica un dominio con tutti i token

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch e un osservatorio indipendente e fattuale. Non e affiliato ad alcun fornitore di crawler, non e approvato da nessuno e non parla per nessuno. Ogni affermazione e un'osservazione con la data in cui e stata fatta e la prova grezza che la sostiene: una riga del file robots.txt, un codice di stato HTTP, un'intestazione. Qui non ci sono punteggi, voti o verdetti, e nulla in questa pagina e un consiglio. Un sito puo chiedere l'esclusione in qualsiasi momento e l'esclusione e rispettata in modo automatico e permanente.