Applebot-Extended: token robots, verifica, consentire o bloccare

Questa pagina e tradotta automaticamente. I numeri e le prove provengono invariati dalle osservazioni memorizzate.

All 21 documented crawlers

Identita

probe_supported is false on the vendor's own evidence: 'Applebot-Extended does not crawl webpages.' It is a robots.txt control token over the use of already crawled content in Apple generative models. Reverse DNS suffix is the one app/botverify.py forward confirms.

Consentire o bloccare

User-agent: Applebot-Extended
Allow: /

User-agent: Applebot-Extended
Disallow: /

Una regola del file robots.txt e una richiesta che un crawler educato rispetta. Non e un controllo di accesso, e questa pagina non dice a nessuno cosa scegliere.

Build a robots.txt with Applebot-Extended and every other documented token

Domande

Applebot-Extended rispetta il file robots.txt?

La documentazione del fornitore all'indirizzo https://support.apple.com/en-us/119829 afferma che Applebot-Extended rispetta il file robots.txt. Abbiamo scaricato quella pagina e ha risposto al nostro verificatore il 2026-09-06. Questo registra cio che il fornitore documenta, non cio che ha fatto una singola richiesta.

Come consento Applebot-Extended nel file robots.txt?

Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: Applebot-Extended Allow: /. Secondo la RFC 9309 il token viene confrontato senza distinzione tra maiuscole e minuscole come sottostringa dello user agent, e vince la regola corrispondente piu lunga.

Come blocco Applebot-Extended nel file robots.txt?

Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: Applebot-Extended Disallow: /. Una regola del file robots.txt e una richiesta che un crawler educato rispetta; non e un controllo di accesso.

Come verifico che una richiesta provenga davvero da Applebot-Extended?

Il fornitore documenta la verifica tramite DNS inverso: risolvi l'indirizzo della richiesta, controlla che il nome termini con .applebot.apple.com, poi risolvi di nuovo quel nome e conferma che riporta allo stesso indirizzo.

Che cosa misuriamo

Dei 12976 domini censiti di cui abbiamo letto il file robots.txt, 1443 bloccano Applebot-Extended per / e 11533 lo consentono, cioe il 11.1% bloccato, settimana 2026-W43. Solo conteggi: nessun dominio viene nominato.

L'indice settimanale di accesso dei crawler di IA

Fonti

Dati liberi

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

Verifica un dominio con tutti i token

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch e un osservatorio indipendente e fattuale. Non e affiliato ad alcun fornitore di crawler, non e approvato da nessuno e non parla per nessuno. Ogni affermazione e un'osservazione con la data in cui e stata fatta e la prova grezza che la sostiene: una riga del file robots.txt, un codice di stato HTTP, un'intestazione. Qui non ci sono punteggi, voti o verdetti, e nulla in questa pagina e un consiglio. Un sito puo chiedere l'esclusione in qualsiasi momento e l'esclusione e rispettata in modo automatico e permanente.