Google-Extended: token robots, verifica, consentire o bloccare
Questa pagina e tradotta automaticamente. I numeri e le prove provengono invariati dalle osservazioni memorizzate.
Google-Extended e un crawler di IA gestito da Google. Il suo token robots.txt e Google-Extended, e la documentazione del fornitore che abbiamo scaricato il 2026-09-06 e la fonte di ogni affermazione in questa pagina.
| Token robots | Google-Extended |
|---|---|
| Fornitore | |
| Finalita | training corpus, grounding |
| Verifica documentata | intervalli IP pubblicati |
| Documentazione del fornitore verificata l'ultima volta | 2026-09-06 |
| Quota dei domini letti che lo bloccano per / | 17.2% of 128 |
| Last verified |
Identita
| Token robots | Google-Extended |
|---|---|
| Confrontato come | google-extended |
| Fornitore | |
| Finalita | training corpus, grounding |
| Documentazione | https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers |
| Verifica documentata | intervalli IP pubblicati: https://developers.google.com/static/search/apis/ipranges/special-crawlers.json |
probe_supported is false on the vendor's own evidence: 'Google-Extended doesn't have a separate HTTP request user agent string. Crawling is done with existing Google user agent strings; the robots.txt user-agent token is used in a control capacity.' It controls use of content for Gemini training and for grounding, and the vendor states it does not affect inclusion or ranking in Google Search. An edge probe carrying this token would therefore prove nothing and we do not run one.
Consentire o bloccare
User-agent: Google-Extended Allow: /
User-agent: Google-Extended Disallow: /
Una regola del file robots.txt e una richiesta che un crawler educato rispetta. Non e un controllo di accesso, e questa pagina non dice a nessuno cosa scegliere.
Domande
Google-Extended rispetta il file robots.txt?
La documentazione del fornitore all'indirizzo https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers afferma che Google-Extended rispetta il file robots.txt. Abbiamo scaricato quella pagina e ha risposto al nostro verificatore il 2026-09-06. Questo registra cio che il fornitore documenta, non cio che ha fatto una singola richiesta.
Come consento Google-Extended nel file robots.txt?
Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: Google-Extended Allow: /. Secondo la RFC 9309 il token viene confrontato senza distinzione tra maiuscole e minuscole come sottostringa dello user agent, e vince la regola corrispondente piu lunga.
Come blocco Google-Extended nel file robots.txt?
Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: Google-Extended Disallow: /. Una regola del file robots.txt e una richiesta che un crawler educato rispetta; non e un controllo di accesso.
Come verifico che una richiesta provenga davvero da Google-Extended?
Il fornitore pubblica all'indirizzo https://developers.google.com/static/search/apis/ipranges/special-crawlers.json gli intervalli di indirizzi IP da cui questo crawler scarica. Confronta l'indirizzo della richiesta con quel file. Una stringa di user agent da sola non prova nulla, perche chiunque puo inviarla.
Che cosa misuriamo
Dei 128 domini censiti di cui abbiamo letto il file robots.txt, 22 bloccano Google-Extended per / e 106 lo consentono, cioe il 17.2% bloccato, settimana 2026-W37. Solo conteggi: nessun dominio viene nominato.
L'indice settimanale di accesso dei crawler di IA
Fonti
| Fonte | Tipo | HTTP | Verificato | Nota |
|---|---|---|---|---|
| https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers | vendor | 200 | 2026-09-06 | 6 occurrences of Google-Extended in the fetched body |
| https://developers.google.com/static/search/apis/ipranges/special-crawlers.json | vendor | 200 | 2026-09-06 | published IP ranges; fetched 200 by scripts/aeowatch_crawlers_refresh.py on 2026-09-06 and also refreshed weekly into data/bot_ranges.json (270 prefixes on disk) |
Dati liberi
Verifica un dominio con tutti i token
AEO Watch e un osservatorio indipendente e fattuale. Non e affiliato ad alcun fornitore di crawler, non e approvato da nessuno e non parla per nessuno. Ogni affermazione e un'osservazione con la data in cui e stata fatta e la prova grezza che la sostiene: una riga del file robots.txt, un codice di stato HTTP, un'intestazione. Qui non ci sono punteggi, voti o verdetti, e nulla in questa pagina e un consiglio. Un sito puo chiedere l'esclusione in qualsiasi momento e l'esclusione e rispettata in modo automatico e permanente.