GPTBot, ClaudeBot und Google-Extended: Was ein Eintrag in der robots.txt wirklich bewirkt
Vier Crawler-Namen entscheiden, ob eine Seite für KI-Training gelesen wird. Sie zu nennen kostet je eine Zeile – aber eine Datei, die mit einem Fehler antwortet, erlaubt alles, und einer der vier tut nicht das, was ihm nachgesagt wird.



