ClaudeBot: token robots, weryfikacja, zezwolenie lub blokada

Ta strona jest tlumaczona maszynowo. Liczby i dowody pochodza bez zmian z zapisanych obserwacji.

All 21 documented crawlers

Tozsamosc

Vendor text: 'ClaudeBot helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training.' The vendor began publishing an IP range file on 2026-08-18 and links it from the help article, so a hit carrying this token is now checked against that file and recorded as verified or spoofed rather than unverifiable (same rule as app/botverify.py). No reverse DNS convention is documented. Read again on 2026-09-17.

Zezwol lub zablokuj

User-agent: ClaudeBot
Allow: /

User-agent: ClaudeBot
Disallow: /

Regula w pliku robots.txt jest prosba, ktora spelnia dobrze wychowany robot. Nie jest kontrola dostepu, a ta strona nikomu nie mowi, co wybrac.

Build a robots.txt with ClaudeBot and every other documented token

Pytania

Czy ClaudeBot przestrzega pliku robots.txt?

Dokumentacja dostawcy pod adresem https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler podaje, ze ClaudeBot przestrzega pliku robots.txt. Pobralismy te strone i odpowiedziala naszemu programowi sprawdzajacemu dnia 2026-09-17. To zapisuje, co dokumentuje dostawca, a nie to, co zrobilo pojedyncze zadanie.

Jak zezwolic na ClaudeBot w pliku robots.txt?

Dodaj te grupe do pliku robots.txt w katalogu glownym hosta: User-agent: ClaudeBot Allow: /. Zgodnie z RFC 9309 token jest porownywany bez rozroznienia wielkosci liter jako fragment ciagu user agent, a wygrywa najdluzsza pasujaca regula.

Jak zablokowac ClaudeBot w pliku robots.txt?

Dodaj te grupe do pliku robots.txt w katalogu glownym hosta: User-agent: ClaudeBot Disallow: /. Regula w pliku robots.txt jest prosba, ktora spelnia dobrze wychowany robot; nie jest kontrola dostepu.

Jak sprawdzic, czy zadanie naprawde pochodzilo od ClaudeBot?

Dostawca publikuje pod adresem https://claude.com/crawling/bots.json zakresy adresow IP, z ktorych ten robot pobiera strony. Porownaj adres zadania z tym plikiem. Sam ciag user agent niczego nie dowodzi, bo kazdy moze go wyslac.

Co mierzymy

Sposrod 12976 zarejestrowanych domen, ktorych plik robots.txt odczytalismy, 1649 blokuje ClaudeBot dla / a 11327 na niego zezwala, czyli 12.7% blokuje, tydzien 2026-W43. Wylacznie liczby: zadna domena nie jest wymieniona.

Tygodniowy indeks dostepu robotow AI

Zrodla

Wolne dane

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

Sprawdz domene wzgledem wszystkich tokenow

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch jest niezaleznym, faktograficznym monitorem. Nie jest powiazany z zadnym dostawca robotow, nie jest przez nikogo wspierany i nie wypowiada sie w niczyim imieniu. Kazde stwierdzenie jest obserwacja z data jej wykonania i surowym dowodem: wiersz pliku robots.txt, kod stanu HTTP, naglowek. Nie ma tu ocen, stopni ani wyrokow, a nic na tej stronie nie jest porada. Witryna moze w kazdej chwili zrezygnowac, a rezygnacja jest respektowana automatycznie i trwale.