Googlebot: token de robots, verificacao, permitir ou bloquear
Esta pagina foi traduzida automaticamente. Os numeros e as provas vem sem alteracao das observacoes guardadas.
Googlebot e um rastreador de IA operado por Google. Seu token de robots.txt e Googlebot, e a documentacao do fornecedor que baixamos em 2026-09-06 e a fonte de cada afirmacao desta pagina.
| Token de robots | Googlebot |
|---|---|
| Fornecedor | |
| Finalidade | search index |
| Verificacao documentada | faixas de IP publicadas e DNS reverso |
| Documentacao do fornecedor verificada pela ultima vez | 2026-09-06 |
| Parcela dos dominios lidos que o bloqueiam para / | 0.8% of 128 |
| Last verified |
Identidade
| Token de robots | Googlebot |
|---|---|
| Comparado como | googlebot |
| Fornecedor | |
| Finalidade | search index |
| Documentacao | https://developers.google.com/search/docs/crawling-indexing/googlebot |
| Verificacao documentada | faixas de IP publicadas e DNS reverso: https://developers.google.com/static/search/apis/ipranges/googlebot.json (.googlebot.com, .google.com) |
Included because AI answers frequently ground on the Google index. The reverse DNS suffixes are the ones app/botverify.py already forward confirms.
Permitir ou bloquear
User-agent: Googlebot Allow: /
User-agent: Googlebot Disallow: /
Uma regra do robots.txt e um pedido que um rastreador bem comportado atende. Nao e um controle de acesso, e esta pagina nao diz a ninguem o que escolher.
Perguntas
O Googlebot respeita o robots.txt?
A documentacao do fornecedor em https://developers.google.com/search/docs/crawling-indexing/googlebot afirma que o Googlebot respeita o robots.txt. Baixamos essa pagina e ela respondeu ao nosso verificador em 2026-09-06. Isto registra o que o fornecedor documenta, nao o que uma requisicao especifica fez.
Como permito o Googlebot no robots.txt?
Adicione este grupo ao robots.txt na raiz do host: User-agent: Googlebot Allow: /. Pela RFC 9309 o token e comparado sem diferenciar maiusculas como subcadeia do user agent, e vence a regra correspondente mais longa.
Como bloqueio o Googlebot no robots.txt?
Adicione este grupo ao robots.txt na raiz do host: User-agent: Googlebot Disallow: /. Uma regra do robots.txt e um pedido que um rastreador bem comportado atende; nao e um controle de acesso.
Como verifico se uma requisicao veio mesmo do Googlebot?
O fornecedor publica tanto um arquivo de faixas IP (https://developers.google.com/static/search/apis/ipranges/googlebot.json) quanto uma convencao de DNS reverso. As duas verificacoes estao documentadas; e o endereco que prova a requisicao, nunca a cadeia de user agent.
O que medimos
Dos 128 dominios cadastrados cujo robots.txt lemos, 1 bloqueiam o Googlebot para / e 127 o permitem, ou seja 0.8% bloqueados, semana 2026-W37. Apenas contagens: nenhum dominio e nomeado.
O indice semanal de acesso dos rastreadores de IA
Fontes
| Fonte | Tipo | HTTP | Verificado | Observacao |
|---|---|---|---|---|
| https://developers.google.com/search/docs/crawling-indexing/googlebot | vendor | 200 | 2026-09-06 | 35 occurrences of Googlebot in the common crawlers page fetched the same day |
| https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers | vendor | 200 | 2026-09-06 | crawler overview index page |
Dados livres
Verificar um dominio com todos os tokens
O AEO Watch e um monitor independente e factual. Nao tem vinculo com nenhum fornecedor de rastreadores, nao e endossado por nenhum e nao fala por nenhum. Cada afirmacao e uma observacao com a data em que foi feita e a prova bruta por tras dela: uma linha do robots.txt, um codigo de estado HTTP, um cabecalho. Aqui nao ha notas, classificacoes ou vereditos, e nada nesta pagina e aconselhamento. Um site pode pedir exclusao a qualquer momento e a exclusao e respeitada de forma automatica e permanente.