Attrape-Robots

Häufige Fragen

Entfernt das Blockieren von GPTBot mich aus ChatGPT-Antworten?

Nein. GPTBot dient dem Training. Die ChatGPT-Suche nutzt OAI-SearchBot, Seitenabrufe auf Nutzeranfrage ChatGPT-User. Wer OAI-SearchBot blockiert, verschwindet aus belegten Antworten.

Beweist ein User-Agent, dass ein Bot echt ist?

Nein. Jeder kann GPTBot in einen Header schreiben. Vergleichen Sie die Herkunfts-IP mit den vom Anbieter veröffentlichten Bereichen.

Was, wenn meine Website hinter einem CDN liegt?

Ihre Logs zeigen die CDN-Adresse. Nutzen Sie den vom Proxy gesetzten Real-IP-Header (mit Liste vertrauenswürdiger Proxys) oder filtern Sie per WAF-Regel im CDN.

Reicht robots.txt zum Blockieren?

Nein. Seriöse Bots halten sich daran, andere nicht. Gegen diese hilft nur IP-Filterung.

KI-Crawler · Diagnose