Googlebot: token robots, verifica, consentire o bloccare
Questa pagina e tradotta automaticamente. I numeri e le prove provengono invariati dalle osservazioni memorizzate.
Googlebot e un crawler di IA gestito da Google. Il suo token robots.txt e Googlebot, e la documentazione del fornitore che abbiamo scaricato il 2026-09-06 e la fonte di ogni affermazione in questa pagina.
| Token robots | Googlebot |
|---|---|
| Fornitore | |
| Finalita | search index |
| Verifica documentata | intervalli IP pubblicati e DNS inverso |
| Documentazione del fornitore verificata l'ultima volta | 2026-09-06 |
| Quota dei domini letti che lo bloccano per / | 0.8% of 128 |
| Last verified |
Identita
| Token robots | Googlebot |
|---|---|
| Confrontato come | googlebot |
| Fornitore | |
| Finalita | search index |
| Documentazione | https://developers.google.com/search/docs/crawling-indexing/googlebot |
| Verifica documentata | intervalli IP pubblicati e DNS inverso: https://developers.google.com/static/search/apis/ipranges/googlebot.json (.googlebot.com, .google.com) |
Included because AI answers frequently ground on the Google index. The reverse DNS suffixes are the ones app/botverify.py already forward confirms.
Consentire o bloccare
User-agent: Googlebot Allow: /
User-agent: Googlebot Disallow: /
Una regola del file robots.txt e una richiesta che un crawler educato rispetta. Non e un controllo di accesso, e questa pagina non dice a nessuno cosa scegliere.
Domande
Googlebot rispetta il file robots.txt?
La documentazione del fornitore all'indirizzo https://developers.google.com/search/docs/crawling-indexing/googlebot afferma che Googlebot rispetta il file robots.txt. Abbiamo scaricato quella pagina e ha risposto al nostro verificatore il 2026-09-06. Questo registra cio che il fornitore documenta, non cio che ha fatto una singola richiesta.
Come consento Googlebot nel file robots.txt?
Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: Googlebot Allow: /. Secondo la RFC 9309 il token viene confrontato senza distinzione tra maiuscole e minuscole come sottostringa dello user agent, e vince la regola corrispondente piu lunga.
Come blocco Googlebot nel file robots.txt?
Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: Googlebot Disallow: /. Una regola del file robots.txt e una richiesta che un crawler educato rispetta; non e un controllo di accesso.
Come verifico che una richiesta provenga davvero da Googlebot?
Il fornitore pubblica sia un file di intervalli IP (https://developers.google.com/static/search/apis/ipranges/googlebot.json) sia una convenzione di DNS inverso. Entrambe le verifiche sono documentate; e l'indirizzo a provare la richiesta, mai la stringa di user agent.
Che cosa misuriamo
Dei 128 domini censiti di cui abbiamo letto il file robots.txt, 1 bloccano Googlebot per / e 127 lo consentono, cioe il 0.8% bloccato, settimana 2026-W37. Solo conteggi: nessun dominio viene nominato.
L'indice settimanale di accesso dei crawler di IA
Fonti
| Fonte | Tipo | HTTP | Verificato | Nota |
|---|---|---|---|---|
| https://developers.google.com/search/docs/crawling-indexing/googlebot | vendor | 200 | 2026-09-06 | 35 occurrences of Googlebot in the common crawlers page fetched the same day |
| https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers | vendor | 200 | 2026-09-06 | crawler overview index page |
Dati liberi
Verifica un dominio con tutti i token
AEO Watch e un osservatorio indipendente e fattuale. Non e affiliato ad alcun fornitore di crawler, non e approvato da nessuno e non parla per nessuno. Ogni affermazione e un'osservazione con la data in cui e stata fatta e la prova grezza che la sostiene: una riga del file robots.txt, un codice di stato HTTP, un'intestazione. Qui non ci sono punteggi, voti o verdetti, e nulla in questa pagina e un consiglio. Un sito puo chiedere l'esclusione in qualsiasi momento e l'esclusione e rispettata in modo automatico e permanente.