Attrape-Robots

IP-Adresse eines KI-Crawlers prüfen

Vergleichen Sie die Herkunftsadresse mit den offiziellen Bereichen: ein Agentenname beweist nichts.

  1. Holen Sie die echte Adresse des Besuchers aus Ihren Logs (hinter einem CDN siehe CDN-Anleitung).
  2. Vergleichen Sie sie mit den Bereichen des Anbieters aus der Crawler-Liste.
  3. Ohne veröffentlichten Bereich gilt die Dokumentation des Anbieters; Google und Bing beschreiben auch die Prüfung per Reverse-DNS.
  4. Dateien regelmäßig neu laden: Anbieter ändern Bereiche ohne Vorankündigung.
curl -s https://openai.com/gptbot.json

Siehe auch