Laboratoire d'observation ouvert au public
On observe les robots qui observent le web
Attrape‑Robots est un carnet de terrain consacré aux robots d'indexation, aux crawlers de moteurs de recherche et aux agents des plateformes SaaS IA. Ici, chaque visiteur automatisé devient un spécimen à décrire, classer et comprendre.
Fiches de terrain
Spécimens couramment observés
Un aperçu des familles de robots les plus fréquemment identifiées lors de nos sessions d'observation : moteurs de recherche classiques, crawlers d'entraînement des modèles de langage et agents de récupération en temps réel.
-
AR‑01 · Moteur de recherche
Googlebot
Éditeur : Google
Explore les pages pour l'indexation classique du moteur de recherche et de ses aperçus enrichis.
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Respect du fichier robots.txt : strict
-
AR‑02 · Moteur de recherche
Bingbot
Éditeur : Microsoft
Alimente l'index de Bing ainsi que certaines fonctionnalités de recherche assistée par IA de Microsoft.
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Respect du fichier robots.txt : strict
-
AR‑03 · Agent IA
GPTBot
Éditeur : OpenAI
Collecte du contenu public pouvant servir à l'entraînement des modèles d'OpenAI. Peut être exclu via robots.txt.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.2
Respect du fichier robots.txt : strict
-
AR‑04 · Agent IA
ClaudeBot
Éditeur : Anthropic
Parcourt le web pour la recherche et l'amélioration des modèles Claude, dans le respect des consignes du fichier robots.txt déclaré par les éditeurs.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ClaudeBot/1.0
Respect du fichier robots.txt : strict
-
AR‑05 · Agent IA
PerplexityBot
Éditeur : Perplexity AI
Récupère des pages pour construire des réponses citées en temps réel dans le moteur de réponse Perplexity.
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/bot)
Respect du fichier robots.txt : variable selon les rapports
-
AR‑06 · Archive publique
CCBot
Éditeur : Common Crawl
Constitue une archive ouverte du web, largement réutilisée comme donnée d'entraînement par de nombreux modèles.
CCBot/2.0 (+https://commoncrawl.org/faq/)
Respect du fichier robots.txt : strict
-
AR‑07 · Agent IA
Bytespider
Éditeur : ByteDance
Collecte de contenu pour les services de ByteDance ; régulièrement cité comme moins respectueux des exclusions déclarées.
Mozilla/5.0 (compatible; Bytespider; +http://www.bytespider.net)
Respect du fichier robots.txt : signalé comme faible
-
AR‑08 · Moteur de recherche
Applebot
Éditeur : Apple
Nourrit Siri, Spotlight et la recherche Safari ; explore aussi du contenu pour des fonctions d'intelligence Apple.
Mozilla/5.0 (compatible; Applebot/0.1; +http://www.apple.com/go/applebot)
Respect du fichier robots.txt : strict
Note de terrain : les niveaux de respect du fichier robots.txt évoluent avec le temps et selon les sources ; ce carnet donne une tendance générale observée par la communauté, pas une mesure garantie en direct.
Protocole
Comment fonctionne le laboratoire
Quatre étapes, dans cet ordre, pour transformer une simple requête HTTP en fiche d'observation exploitable.
-
Capture
Chaque requête entrante est enregistrée : en-tête User‑Agent, adresse d'origine, page visée et horodatage.
-
Identification
La signature du visiteur est comparée à un référentiel de familles connues de robots et d'agents.
-
Journalisation
L'observation est consignée dans le journal de bord, consultable publiquement en quasi temps réel.
-
Alerte
Les comportements inhabituels ou les nouvelles familles détectées déclenchent un signalement au bulletin d'observation.
En direct (démonstration)
Journal de bord
Un aperçu du style de nos relevés de terrain. Ce flux est une simulation illustrative générée dans votre navigateur, pas une donnée réelle de trafic.
Cette liste se met à jour automatiquement toutes les quelques secondes. Utilisez le bouton « Mettre le labo en pause » en haut de page pour l'arrêter.
Signature du laboratoire
Le test du miroir
Un petit protocole indicatif, exécuté entièrement dans votre navigateur, qui observe quelques signaux d'interaction pour estimer, pour le plaisir, si c'est plutôt un humain ou un automate qui nous lit.
Cliquez sur le bouton pour lancer l'observation.
Aucune donnée n'est envoyée ni conservée : l'analyse reste locale à cette page et s'oublie à la fermeture de l'onglet. Résultat purement indicatif, sans valeur scientifique ni usage de sécurité.Bulletin
Recevoir le bulletin d'observation
Une note occasionnelle sur les nouvelles familles de robots repérées et les évolutions notables du protocole.