Attrape-Robots

KI-Crawler in robots.txt blockieren oder zulassen

Entscheiden Sie nach Zweck (Training, Indexierung, Abruf auf Anfrage) und schreiben Sie die passenden robots.txt-Zeilen.

  1. Nach Zweck wählen: Training zu blockieren kostet keine Sichtbarkeit; Indexierung oder Abruf auf Anfrage zu blockieren entfernt Sie aus Antworten.
  2. Eine Regel pro Bot wie unten, oder Auswahl im Generator ankreuzen.
  3. Lassen Sie OAI-SearchBot, Claude-SearchBot, PerplexityBot und ChatGPT-User zu, wenn Sie zitiert werden wollen.
  4. robots.txt ist eine Bitte: gegen Bots, die sie ignorieren, hilft IP-Filterung (IP eines Bots prüfen).
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Siehe auch