KI-Crawler hinter einem CDN: echte IP ermitteln
Hinter einem CDN zeigen Ihre Logs die Proxy-Adresse. So finden Sie die des Bots.
- Hinter Cloudflare, Fastly oder einem Reverse-Proxy loggen Sie die CDN-Adresse, für Bot und Mensch identisch.
- Die echte Adresse steckt in einem vom Proxy gesetzten Header: vertrauen Sie ihm am Origin (nginx-Beispiel unten).
- set_real_ip_from ist Pflicht: sonst kann jeder den Header fälschen und sich als Googlebot ausgeben.
- Oder filtern Sie per WAF-Regel im CDN, wo die Quelladresse bereits stimmt. Bereiche nicht fest einkonfigurieren.
real_ip_header CF-Connecting-IP;
set_real_ip_from ;