meta-externalagent: token de robots, verificacao, permitir ou bloquear

Esta pagina foi traduzida automaticamente. Os numeros e as provas vem sem alteracao das observacoes guardadas.

All 21 documented crawlers

Identidade

The vendor page fetched on 2026-09-06 carries the exact snippet 'User-agent: meta-externalagent Allow: / # Allow everything Disallow: /private/ # Disallow a specific directory', asks for up to 24 hours for a robots.txt change to take effect, and notes that its integrity and security checks may not follow robots.txt.

Permitir ou bloquear

User-agent: meta-externalagent
Allow: /

User-agent: meta-externalagent
Disallow: /

Uma regra do robots.txt e um pedido que um rastreador bem comportado atende. Nao e um controle de acesso, e esta pagina nao diz a ninguem o que escolher.

Build a robots.txt with meta-externalagent and every other documented token

Perguntas

O meta-externalagent respeita o robots.txt?

A documentacao do fornecedor em https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ afirma que o meta-externalagent respeita o robots.txt. Baixamos essa pagina e ela respondeu ao nosso verificador em 2026-09-06. Isto registra o que o fornecedor documenta, nao o que uma requisicao especifica fez.

Como permito o meta-externalagent no robots.txt?

Adicione este grupo ao robots.txt na raiz do host: User-agent: meta-externalagent Allow: /. Pela RFC 9309 o token e comparado sem diferenciar maiusculas como subcadeia do user agent, e vence a regra correspondente mais longa.

Como bloqueio o meta-externalagent no robots.txt?

Adicione este grupo ao robots.txt na raiz do host: User-agent: meta-externalagent Disallow: /. Uma regra do robots.txt e um pedido que um rastreador bem comportado atende; nao e um controle de acesso.

Como verifico se uma requisicao veio mesmo do meta-externalagent?

Nao encontramos um metodo de verificacao documentado para o meta-externalagent: o fornecedor nao publica nem arquivo de faixas IP nem convencao de DNS reverso que pudessemos baixar. Sem isso, uma cadeia de user agent nao e prova de origem.

O que medimos

Dos 12976 dominios cadastrados cujo robots.txt lemos, 1466 bloqueiam o meta-externalagent para / e 11510 o permitem, ou seja 11.3% bloqueados, semana 2026-W43. Apenas contagens: nenhum dominio e nomeado.

O indice semanal de acesso dos rastreadores de IA

Fontes

Dados livres

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

Verificar um dominio com todos os tokens

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

O AEO Watch e um monitor independente e factual. Nao tem vinculo com nenhum fornecedor de rastreadores, nao e endossado por nenhum e nao fala por nenhum. Cada afirmacao e uma observacao com a data em que foi feita e a prova bruta por tras dela: uma linha do robots.txt, um codigo de estado HTTP, um cabecalho. Aqui nao ha notas, classificacoes ou vereditos, e nada nesta pagina e aconselhamento. Um site pode pedir exclusao a qualquer momento e a exclusao e respeitada de forma automatica e permanente.