CCBot: token robots, weryfikacja, zezwolenie lub blokada
Ta strona jest tlumaczona maszynowo. Liczby i dowody pochodza bez zmian z zapisanych obserwacji.
CCBot to robot AI prowadzony przez Common Crawl Foundation. Jego token w pliku robots.txt to CCBot, a dokumentacja dostawcy pobrana przez nas dnia 2026-09-06 jest zrodlem kazdego stwierdzenia na tej stronie.
| Token robots | CCBot |
|---|---|
| Dostawca | Common Crawl Foundation |
| Cel | training corpus, public web corpus |
| Udokumentowana weryfikacja | nie opublikowano |
| Dokumentacja dostawcy sprawdzona ostatnio | 2026-09-06 |
| Udzial odczytanych domen, ktore go blokuja dla / | 18.8% of 128 |
| Last verified |
Tozsamosc
| Token robots | CCBot |
|---|---|
| Dopasowywany jako | ccbot |
| Dostawca | Common Crawl Foundation |
| Cel | training corpus, public web corpus |
| Dokumentacja | https://commoncrawl.org/ccbot |
| Udokumentowana weryfikacja | nie opublikowano |
Not an answer engine itself: it builds the public corpus that many models train on, which is why site owners treat it as an AI crawler. The exact snippet 'User-agent: CCBot Disallow: /' appears on the vendor page fetched on 2026-09-06.
Zezwol lub zablokuj
User-agent: CCBot Allow: /
User-agent: CCBot Disallow: /
Regula w pliku robots.txt jest prosba, ktora spelnia dobrze wychowany robot. Nie jest kontrola dostepu, a ta strona nikomu nie mowi, co wybrac.
Pytania
Czy CCBot przestrzega pliku robots.txt?
Dokumentacja dostawcy pod adresem https://commoncrawl.org/ccbot podaje, ze CCBot przestrzega pliku robots.txt. Pobralismy te strone i odpowiedziala naszemu programowi sprawdzajacemu dnia 2026-09-06. To zapisuje, co dokumentuje dostawca, a nie to, co zrobilo pojedyncze zadanie.
Jak zezwolic na CCBot w pliku robots.txt?
Dodaj te grupe do pliku robots.txt w katalogu glownym hosta: User-agent: CCBot Allow: /. Zgodnie z RFC 9309 token jest porownywany bez rozroznienia wielkosci liter jako fragment ciagu user agent, a wygrywa najdluzsza pasujaca regula.
Jak zablokowac CCBot w pliku robots.txt?
Dodaj te grupe do pliku robots.txt w katalogu glownym hosta: User-agent: CCBot Disallow: /. Regula w pliku robots.txt jest prosba, ktora spelnia dobrze wychowany robot; nie jest kontrola dostepu.
Jak sprawdzic, czy zadanie naprawde pochodzilo od CCBot?
Nie znalezlismy udokumentowanej metody weryfikacji dla CCBot: dostawca nie publikuje ani pliku z zakresami IP, ani konwencji odwrotnego DNS, ktore moglibysmy pobrac. Bez tego ciag user agent nie jest dowodem pochodzenia.
Co mierzymy
Sposrod 128 zarejestrowanych domen, ktorych plik robots.txt odczytalismy, 24 blokuje CCBot dla / a 104 na niego zezwala, czyli 18.8% blokuje, tydzien 2026-W37. Wylacznie liczby: zadna domena nie jest wymieniona.
Tygodniowy indeks dostepu robotow AI
Zrodla
| Zrodlo | Typ | HTTP | Sprawdzono | Uwaga |
|---|---|---|---|---|
| https://commoncrawl.org/ccbot | vendor | 200 | 2026-09-06 | 11 occurrences of CCBot in the fetched body |
Wolne dane
Sprawdz domene wzgledem wszystkich tokenow
AEO Watch jest niezaleznym, faktograficznym monitorem. Nie jest powiazany z zadnym dostawca robotow, nie jest przez nikogo wspierany i nie wypowiada sie w niczyim imieniu. Kazde stwierdzenie jest obserwacja z data jej wykonania i surowym dowodem: wiersz pliku robots.txt, kod stanu HTTP, naglowek. Nie ma tu ocen, stopni ani wyrokow, a nic na tej stronie nie jest porada. Witryna moze w kazdej chwili zrezygnowac, a rezygnacja jest respektowana automatycznie i trwale.