Bytespider: jeton robots, verification, autoriser ou bloquer
Cette page est traduite automatiquement. Les mesures et les preuves proviennent telles quelles des observations enregistrees.
Bytespider est un robot d'IA exploite par ByteDance. Son jeton robots.txt est Bytespider, et la documentation de l'editeur que nous avons telechargee le 2026-09-06 est la source de chaque affirmation de cette page.
| Jeton robots | Bytespider |
|---|---|
| Editeur | ByteDance |
| Finalite | training corpus |
| Verification documentee | aucune publiee |
| Documentation de l'editeur verifiee le | 2026-09-06 |
| Part des domaines lus qui le bloquent pour / | 18.0% of 128 |
| Last verified |
Identite
| Jeton robots | Bytespider |
|---|---|
| Compare comme | bytespider |
| Editeur | ByteDance |
| Finalite | training corpus |
| Documentation | None |
| Verification documentee | aucune publiee |
documentation_url is null because we found no vendor page for this token that we could fetch on 2026-09-06. We record no claim about whether it obeys robots.txt: that is a widely repeated third party assertion we have not verified from the vendor.
Autoriser ou bloquer
User-agent: Bytespider Allow: /
User-agent: Bytespider Disallow: /
Une regle du fichier robots.txt est une demande qu'un robot bien eleve respecte. Ce n'est pas un controle d'acces, et cette page ne dit a personne quoi choisir.
Questions
Comment autoriser Bytespider dans le fichier robots.txt?
Ajoutez ce groupe au fichier robots.txt place a la racine de l'hote: User-agent: Bytespider Allow: /. Selon la RFC 9309, le jeton est compare sans tenir compte de la casse comme sous chaine du user agent, et la regle correspondante la plus longue l'emporte.
Comment bloquer Bytespider dans le fichier robots.txt?
Ajoutez ce groupe au fichier robots.txt place a la racine de l'hote: User-agent: Bytespider Disallow: /. Une regle du fichier robots.txt est une demande qu'un robot bien eleve respecte; ce n'est pas un controle d'acces.
Comment verifier qu'une requete vient reellement de Bytespider?
Nous n'avons trouve aucune methode de verification documentee pour Bytespider: l'editeur ne publie ni fichier de plages IP ni convention de DNS inverse que nous puissions telecharger. Sans cela, une chaine de user agent ne prouve pas l'origine.
Ce que nous mesurons
Sur les 128 domaines recenses dont nous avons lu le fichier robots.txt, 23 bloquent Bytespider pour / et 105 l'autorisent, soit 18.0% de blocage, semaine 2026-W37. Uniquement des comptes: aucun domaine n'est nomme.
L'index hebdomadaire de l'acces des robots d'IA
Sources
| Source | Type | HTTP | Verifie | Remarque |
|---|---|---|---|---|
| https://darkvisitors.com/agents/bytespider | aggregator | 200 | 2026-09-06 | third party aggregator, only source found; volatile source: identical byte count but a different content hash on every fetch (verified twice on 2026-09-06), so the refresher compares byte counts for it, not hashes |
Donnees libres
Verifier un domaine pour tous les jetons
AEO Watch est un observateur independant et factuel. Il n'est affilie a aucun editeur de robot, n'est soutenu par aucun et ne parle au nom d'aucun. Chaque affirmation est une observation portant la date a laquelle elle a ete faite et la preuve brute qui la fonde: une ligne du fichier robots.txt, un code d'etat HTTP, un en tete. Il n'y a ici ni note, ni classement, ni verdict, et rien sur cette page n'est un conseil. Un site peut se retirer a tout moment et ce retrait est respecte automatiquement et definitivement.