Bingbot: token robots, verifica, consentire o bloccare

Questa pagina e tradotta automaticamente. I numeri e le prove provengono invariati dalle osservazioni memorizzate.

All 21 documented crawlers

Identita

Included because Copilot answers ground on the Bing index. Microsoft also documents a reverse DNS verification tool; we assert only the range file that data/bot_ranges.json already carries (28 prefixes).

Consentire o bloccare

User-agent: Bingbot
Allow: /

User-agent: Bingbot
Disallow: /

Una regola del file robots.txt e una richiesta che un crawler educato rispetta. Non e un controllo di accesso, e questa pagina non dice a nessuno cosa scegliere.

Build a robots.txt with Bingbot and every other documented token

Domande

Bingbot rispetta il file robots.txt?

La documentazione del fornitore all'indirizzo https://www.bing.com/webmasters/help/which-crawlers-does-bing-use-8c184ec0 afferma che Bingbot rispetta il file robots.txt. Abbiamo scaricato quella pagina e ha risposto al nostro verificatore il 2026-09-06. Questo registra cio che il fornitore documenta, non cio che ha fatto una singola richiesta.

Come consento Bingbot nel file robots.txt?

Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: Bingbot Allow: /. Secondo la RFC 9309 il token viene confrontato senza distinzione tra maiuscole e minuscole come sottostringa dello user agent, e vince la regola corrispondente piu lunga.

Come blocco Bingbot nel file robots.txt?

Aggiungi questo gruppo al file robots.txt nella radice dell'host: User-agent: Bingbot Disallow: /. Una regola del file robots.txt e una richiesta che un crawler educato rispetta; non e un controllo di accesso.

Come verifico che una richiesta provenga davvero da Bingbot?

Il fornitore pubblica all'indirizzo https://www.bing.com/toolbox/bingbot.json gli intervalli di indirizzi IP da cui questo crawler scarica. Confronta l'indirizzo della richiesta con quel file. Una stringa di user agent da sola non prova nulla, perche chiunque puo inviarla.

Che cosa misuriamo

Dei 12976 domini censiti di cui abbiamo letto il file robots.txt, 330 bloccano Bingbot per / e 12646 lo consentono, cioe il 2.5% bloccato, settimana 2026-W43. Solo conteggi: nessun dominio viene nominato.

L'indice settimanale di accesso dei crawler di IA

Fonti

Dati liberi

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

Verifica un dominio con tutti i token

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch e un osservatorio indipendente e fattuale. Non e affiliato ad alcun fornitore di crawler, non e approvato da nessuno e non parla per nessuno. Ogni affermazione e un'osservazione con la data in cui e stata fatta e la prova grezza che la sostiene: una riga del file robots.txt, un codice di stato HTTP, un'intestazione. Qui non ci sono punteggi, voti o verdetti, e nulla in questa pagina e un consiglio. Un sito puo chiedere l'esclusione in qualsiasi momento e l'esclusione e rispettata in modo automatico e permanente.