Attrape-Robots

KI-Crawler hinter einem CDN: echte IP ermitteln

Hinter einem CDN zeigen Ihre Logs die Proxy-Adresse. So finden Sie die des Bots.

  1. Hinter Cloudflare, Fastly oder einem Reverse-Proxy loggen Sie die CDN-Adresse, für Bot und Mensch identisch.
  2. Die echte Adresse steckt in einem vom Proxy gesetzten Header: vertrauen Sie ihm am Origin (nginx-Beispiel unten).
  3. set_real_ip_from ist Pflicht: sonst kann jeder den Header fälschen und sich als Googlebot ausgeben.
  4. Oder filtern Sie per WAF-Regel im CDN, wo die Quelladresse bereits stimmt. Bereiche nicht fest einkonfigurieren.
real_ip_header CF-Connecting-IP;
set_real_ip_from ;

Siehe auch