Amazonbot: token robots, weryfikacja, zezwolenie lub blokada

Ta strona jest tlumaczona maszynowo. Liczby i dowody pochodza bez zmian z zapisanych obserwacji.

All 21 documented crawlers

Tozsamosc

Vendor text fetched on 2026-09-17: 'Automated crawling from these listed user agents respects the Robots Exclusion Protocol, honoring the user-agent and the allow/disallow directives.' The reverse DNS suffix comes from app/botverify.py (existing fleet data), not from this page. The published IP address URL recorded here is the one the vendor page names for Amazonbot itself; it answered http 200 on 2026-09-17. It had pointed at the list the same page names for Amzn-User, which is now a registry entry of its own.

Zezwol lub zablokuj

User-agent: Amazonbot
Allow: /

User-agent: Amazonbot
Disallow: /

Regula w pliku robots.txt jest prosba, ktora spelnia dobrze wychowany robot. Nie jest kontrola dostepu, a ta strona nikomu nie mowi, co wybrac.

Build a robots.txt with Amazonbot and every other documented token

Pytania

Czy Amazonbot przestrzega pliku robots.txt?

Dokumentacja dostawcy pod adresem https://developer.amazon.com/amazonbot podaje, ze Amazonbot przestrzega pliku robots.txt. Pobralismy te strone i odpowiedziala naszemu programowi sprawdzajacemu dnia 2026-09-17. To zapisuje, co dokumentuje dostawca, a nie to, co zrobilo pojedyncze zadanie.

Jak zezwolic na Amazonbot w pliku robots.txt?

Dodaj te grupe do pliku robots.txt w katalogu glownym hosta: User-agent: Amazonbot Allow: /. Zgodnie z RFC 9309 token jest porownywany bez rozroznienia wielkosci liter jako fragment ciagu user agent, a wygrywa najdluzsza pasujaca regula.

Jak zablokowac Amazonbot w pliku robots.txt?

Dodaj te grupe do pliku robots.txt w katalogu glownym hosta: User-agent: Amazonbot Disallow: /. Regula w pliku robots.txt jest prosba, ktora spelnia dobrze wychowany robot; nie jest kontrola dostepu.

Jak sprawdzic, czy zadanie naprawde pochodzilo od Amazonbot?

Dostawca dokumentuje weryfikacje przez odwrotny DNS: sprawdz adres zadania, upewnij sie, ze nazwa konczy sie na .crawl.amazonbot.amazon, a nastepnie sprawdz te nazwe ponownie i potwierdz, ze wskazuje ten sam adres.

Co mierzymy

Sposrod 12976 zarejestrowanych domen, ktorych plik robots.txt odczytalismy, 1463 blokuje Amazonbot dla / a 11513 na niego zezwala, czyli 11.3% blokuje, tydzien 2026-W43. Wylacznie liczby: zadna domena nie jest wymieniona.

Tygodniowy indeks dostepu robotow AI

Zrodla

Wolne dane

• The AEO Watch dataset
• Tranco top 1,000 AI crawler policy (CSV, CC BY 4.0)
• The AEO Watch API
• The checker as a command line tool (one file, no install)

Sprawdz domene wzgledem wszystkich tokenow

Check your own site

The same checks, run on your domain now: what robots.txt tells each AI crawler, whether the edge answers them, and whether the text is readable without JavaScript. Free, no signup.

Limits: 8 checks and 5 different domains per address per hour; a repeat of the same domain inside 7 days is answered from what we already hold.

AEO Watch jest niezaleznym, faktograficznym monitorem. Nie jest powiazany z zadnym dostawca robotow, nie jest przez nikogo wspierany i nie wypowiada sie w niczyim imieniu. Kazde stwierdzenie jest obserwacja z data jej wykonania i surowym dowodem: wiersz pliku robots.txt, kod stanu HTTP, naglowek. Nie ma tu ocen, stopni ani wyrokow, a nic na tej stronie nie jest porada. Witryna moze w kazdej chwili zrezygnowac, a rezygnacja jest respektowana automatycznie i trwale.