Applebot-Extended: token de robots, verificacion, permitir o bloquear

Esta pagina esta traducida automaticamente. Las cifras y la evidencia proceden sin cambios de las observaciones almacenadas.

All 21 documented crawlers

Identidad

probe_supported is false on the vendor's own evidence: 'Applebot-Extended does not crawl webpages.' It is a robots.txt control token over the use of already crawled content in Apple generative models. Reverse DNS suffix is the one app/botverify.py forward confirms.

Permitir o bloquear

User-agent: Applebot-Extended
Allow: /

User-agent: Applebot-Extended
Disallow: /

Una regla del archivo robots.txt es una peticion que un rastreador bien educado atiende. No es un control de acceso, y esta pagina no le dice a nadie que elegir.

Build a robots.txt with Applebot-Extended and every other documented token

Preguntas

Respeta Applebot-Extended el archivo robots.txt?

La documentacion del proveedor en https://support.apple.com/en-us/119829 indica que Applebot-Extended respeta el archivo robots.txt. Descargamos esa pagina y respondio a nuestro verificador el 2026-09-06. Esto registra lo que documenta el proveedor, no lo que hizo una peticion concreta.

Como permito Applebot-Extended en el archivo robots.txt?

Anada este grupo al archivo robots.txt en la raiz del host: User-agent: Applebot-Extended Allow: /. Segun la RFC 9309 el token se compara sin distinguir mayusculas como subcadena del user agent, y gana la regla coincidente mas larga.

Como bloqueo Applebot-Extended en el archivo robots.txt?

Anada este grupo al archivo robots.txt en la raiz del host: User-agent: Applebot-Extended Disallow: /. Una regla del archivo robots.txt es una peticion que un rastreador bien educado atiende; no es un control de acceso.

Como compruebo que una peticion vino realmente de Applebot-Extended?

El proveedor documenta la comprobacion por DNS inverso: resuelva la direccion de la peticion, compruebe que el nombre termina en .applebot.apple.com y vuelva a resolver ese nombre para confirmar que apunta a la misma direccion.

Lo que medimos

De los 12976 dominios registrados cuyo archivo robots.txt hemos leido, 1443 bloquean Applebot-Extended para / y 11533 lo permiten, es decir un 11.1% bloqueado, semana 2026-W43. Solo recuentos: no se nombra ningun dominio.

El indice semanal de acceso de los rastreadores de IA

Fuentes

Datos libres

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

Comprobar un dominio con todos los tokens

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch es un monitor independiente y factual. No esta afiliado a ningun proveedor de rastreadores, ninguno lo respalda y no habla en nombre de ninguno. Cada afirmacion es una observacion con la fecha en que se hizo y la prueba en bruto que la sostiene: una linea del archivo robots.txt, un codigo de estado HTTP, una cabecera. Aqui no hay puntuaciones, ni calificaciones, ni veredictos, y nada de esta pagina es un consejo. Un sitio puede excluirse en cualquier momento y la exclusion se respeta de forma automatica y permanente.