DuckAssistBot: token de robots, verificacao, permitir ou bloquear

Esta pagina foi traduzida automaticamente. Os numeros e as provas vem sem alteracao das observacoes guardadas.

All 21 documented crawlers

Identidade

documentation_url is null because duckduckgo.com did not serve robots.txt to this droplet on 2026-09-06 (empty response, curl exit before any status), so we could not reach the vendor help pages politely. Recorded as unreachable from our checker rather than routed around.

Permitir ou bloquear

User-agent: DuckAssistBot
Allow: /

User-agent: DuckAssistBot
Disallow: /

Uma regra do robots.txt e um pedido que um rastreador bem comportado atende. Nao e um controle de acesso, e esta pagina nao diz a ninguem o que escolher.

Build a robots.txt with DuckAssistBot and every other documented token

Perguntas

Como permito o DuckAssistBot no robots.txt?

Adicione este grupo ao robots.txt na raiz do host: User-agent: DuckAssistBot Allow: /. Pela RFC 9309 o token e comparado sem diferenciar maiusculas como subcadeia do user agent, e vence a regra correspondente mais longa.

Como bloqueio o DuckAssistBot no robots.txt?

Adicione este grupo ao robots.txt na raiz do host: User-agent: DuckAssistBot Disallow: /. Uma regra do robots.txt e um pedido que um rastreador bem comportado atende; nao e um controle de acesso.

Como verifico se uma requisicao veio mesmo do DuckAssistBot?

Nao encontramos um metodo de verificacao documentado para o DuckAssistBot: o fornecedor nao publica nem arquivo de faixas IP nem convencao de DNS reverso que pudessemos baixar. Sem isso, uma cadeia de user agent nao e prova de origem.

O que medimos

Dos 12976 dominios cadastrados cujo robots.txt lemos, 768 bloqueiam o DuckAssistBot para / e 12208 o permitem, ou seja 5.9% bloqueados, semana 2026-W43. Apenas contagens: nenhum dominio e nomeado.

O indice semanal de acesso dos rastreadores de IA

Fontes

Dados livres

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

Verificar um dominio com todos os tokens

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

O AEO Watch e um monitor independente e factual. Nao tem vinculo com nenhum fornecedor de rastreadores, nao e endossado por nenhum e nao fala por nenhum. Cada afirmacao e uma observacao com a data em que foi feita e a prova bruta por tras dela: uma linha do robots.txt, um codigo de estado HTTP, um cabecalho. Aqui nao ha notas, classificacoes ou vereditos, e nada nesta pagina e aconselhamento. Um site pode pedir exclusao a qualquer momento e a exclusao e respeitada de forma automatica e permanente.