Google-Extended: token de robots, verificacion, permitir o bloquear
Esta pagina esta traducida automaticamente. Las cifras y la evidencia proceden sin cambios de las observaciones almacenadas.
Google-Extended es un rastreador de IA operado por Google. Su token de robots.txt es Google-Extended, y la documentacion del proveedor que descargamos el 2026-09-06 es la fuente de cada afirmacion de esta pagina.
| Token de robots | Google-Extended |
|---|---|
| Proveedor | |
| Finalidad | training corpus, grounding |
| Verificacion documentada | rangos IP publicados |
| Documentacion del proveedor verificada por ultima vez | 2026-09-06 |
| Proporcion de dominios leidos que lo bloquean para / | 17.2% of 128 |
| Last verified |
Identidad
| Token de robots | Google-Extended |
|---|---|
| Comparado como | google-extended |
| Proveedor | |
| Finalidad | training corpus, grounding |
| Documentacion | https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers |
| Verificacion documentada | rangos IP publicados: https://developers.google.com/static/search/apis/ipranges/special-crawlers.json |
probe_supported is false on the vendor's own evidence: 'Google-Extended doesn't have a separate HTTP request user agent string. Crawling is done with existing Google user agent strings; the robots.txt user-agent token is used in a control capacity.' It controls use of content for Gemini training and for grounding, and the vendor states it does not affect inclusion or ranking in Google Search. An edge probe carrying this token would therefore prove nothing and we do not run one.
Permitir o bloquear
User-agent: Google-Extended Allow: /
User-agent: Google-Extended Disallow: /
Una regla del archivo robots.txt es una peticion que un rastreador bien educado atiende. No es un control de acceso, y esta pagina no le dice a nadie que elegir.
Preguntas
Respeta Google-Extended el archivo robots.txt?
La documentacion del proveedor en https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers indica que Google-Extended respeta el archivo robots.txt. Descargamos esa pagina y respondio a nuestro verificador el 2026-09-06. Esto registra lo que documenta el proveedor, no lo que hizo una peticion concreta.
Como permito Google-Extended en el archivo robots.txt?
Anada este grupo al archivo robots.txt en la raiz del host: User-agent: Google-Extended Allow: /. Segun la RFC 9309 el token se compara sin distinguir mayusculas como subcadena del user agent, y gana la regla coincidente mas larga.
Como bloqueo Google-Extended en el archivo robots.txt?
Anada este grupo al archivo robots.txt en la raiz del host: User-agent: Google-Extended Disallow: /. Una regla del archivo robots.txt es una peticion que un rastreador bien educado atiende; no es un control de acceso.
Como compruebo que una peticion vino realmente de Google-Extended?
El proveedor publica en https://developers.google.com/static/search/apis/ipranges/special-crawlers.json los rangos de direcciones IP desde los que rastrea. Compare la direccion de la peticion con ese archivo. Una cadena de user agent por si sola no prueba nada, porque cualquiera puede enviarla.
Lo que medimos
De los 128 dominios registrados cuyo archivo robots.txt hemos leido, 22 bloquean Google-Extended para / y 106 lo permiten, es decir un 17.2% bloqueado, semana 2026-W37. Solo recuentos: no se nombra ningun dominio.
El indice semanal de acceso de los rastreadores de IA
Fuentes
| Fuente | Tipo | HTTP | Verificado | Nota |
|---|---|---|---|---|
| https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers | vendor | 200 | 2026-09-06 | 6 occurrences of Google-Extended in the fetched body |
| https://developers.google.com/static/search/apis/ipranges/special-crawlers.json | vendor | 200 | 2026-09-06 | published IP ranges; fetched 200 by scripts/aeowatch_crawlers_refresh.py on 2026-09-06 and also refreshed weekly into data/bot_ranges.json (270 prefixes on disk) |
Datos libres
Comprobar un dominio con todos los tokens
AEO Watch es un monitor independiente y factual. No esta afiliado a ningun proveedor de rastreadores, ninguno lo respalda y no habla en nombre de ninguno. Cada afirmacion es una observacion con la fecha en que se hizo y la prueba en bruto que la sostiene: una linea del archivo robots.txt, un codigo de estado HTTP, una cabecera. Aqui no hay puntuaciones, ni calificaciones, ni veredictos, y nada de esta pagina es un consejo. Un sitio puede excluirse en cualquier momento y la exclusion se respeta de forma automatica y permanente.