GPTBot, ClaudeBot und Google-Extended: Was ein Eintrag in der robots.txt wirklich bewirkt

Eine einzige Datei an der Wurzel einer Website entscheidet, wer sie lesen darf – reiner Text, kein Passwort, und alles darin ist eine Bitte und keine Vorschrift.

Seit Sprachmodelle aus dem offenen Netz lernen, trägt diese Datei vier neue Namen. Jeden davon einzutragen kostet eine Zeile. Ob die Zeile etwas bewirkt, hängt an Einzelheiten, die sich leicht verwechseln lassen – und an einem Fall, in dem die Datei alles erlaubt, gerade weil sie zu fehlen scheint.

Was die robots.txt ist und was nicht

Die robots.txt ist eine Textdatei an der Wurzel einer Domain und listet auf, welche Adressen ein Crawler holen darf. Jeder Crawler liest sie zuerst, vor allem anderen.

Was sie nicht ist: ein Schloss. Nichts erzwingt sie. Ein Crawler, der die Datei übergeht, bekommt die Seiten trotzdem, und die einzige Folge betrifft seinen Ruf. Die großen, namentlich bekannten Crawler halten sich daran – das ist überhaupt der Sinn eines Namens, denn ein namenloser Crawler lässt sich weder ansprechen noch bei der Einhaltung beobachten.

Die Datei wirkt also genau so weit, wie die Gegenseite erkennbar sein möchte. Das gehört klar gesagt, bevor irgendetwas hineingeschrieben wird.

Die vier Namen, auf die es zurzeit ankommt

GPTBot holt Seiten für das Modelltraining von OpenAI. Getrennt davon läuft der Crawler, der eine Seite holt, weil gerade jemand eine Frage dazu gestellt hat – zwei Aufgaben, zwei Namen.

ClaudeBot ist das Gegenstück für die Modelle von Anthropic.

CCBot gehört zu Common Crawl, einem öffentlichen Archiv des Netzes. Er ist der älteste der vier und der folgenreichste, denn sein Archiv speist viele weitere Vorhaben – einen Modellanbieter zu sperren und CCBot offen zu lassen heißt, dass die Seiten das Training trotzdem erreichen, nur einen Schritt später.

Google-Extended fällt aus der Reihe, und der nächste Abschnitt handelt davon, warum.

Angesprochen wird jeder gleich: eine Gruppe mit dem Namen des Crawlers, darunter die Pfade, die er nicht bekommen soll. Eine Gruppe gilt für genau einen Namen, und ein Crawler mit eigener Gruppe übergeht die allgemeine Gruppe vollständig – eine Regel, die vor dem ersten Eintrag bekannt sein sollte und die im Beitrag über Canonical, hreflang und noindex ausführlich steht.

Google-Extended tut nicht, was der Name nahelegt

Dieser Eintrag wird am häufigsten falsch gelesen, und die Verwechslung ist in beide Richtungen teuer.

Google-Extended ist kein Crawler. Es kommt nie eine Anfrage unter diesem Namen an. Es ist eine Kennzeichnung, die eine getrennte Frage beantwortet: darf der Inhalt, den Google ohnehin geholt hat, zum Training der Modelle verwendet werden.

Das Holen selbst erledigt der Googlebot, unter eigenem Namen und nach eigenen Regeln. Eine Sperre für Google-Extended ändert deshalb nichts daran, wie eine Seite durchsucht wird, und nichts daran, ob sie in den Suchergebnissen steht. Die Seiten werden weiterhin geholt, aufgenommen und bewertet.

Der umgekehrte Fehler kostet mehr. Wer den Googlebot sperrt, um Inhalte aus dem KI-Training herauszuhalten, entfernt die Seite zugleich aus den Suchergebnissen – denn der eine Crawler, der beide Aufgaben erledigt, ist genau der gesperrte. Aus einer Entscheidung über Training wird eine Entscheidung über Sichtbarkeit.

Zwei Namen, zwei Fragen. Diese beiden zu vertauschen ist das Schädlichste, was sich in dieser Datei anstellen lässt.

Was dreizehn echte Dateien tatsächlich sagen

Nachsehen bringt mehr als vermuten. Fünfzehn große Seiten wurden am 1. September 2026 geprüft; dreizehn lieferten eine lesbare Datei.

GPTBot steht in sechs davon, ClaudeBot in sechs, CCBot in fünf, Google-Extended in vier. Ungefähr die Hälfte dieser Seiten hat sich also festgelegt, die andere Hälfte nicht – was selbst eine Festlegung ist, denn Schweigen bedeutet Erlaubnis.

Die Dateien unterscheiden sich enorm im Umfang. Eine kommt auf über 33.000 Zeichen mit dreizehn Gruppen, eine andere hat eine einzige Gruppe und 62 Zeichen. Ein großer Händler führt ClaudeBot zweimal, in zwei getrennten Gruppen, beide mit derselben Regel. Doppelte Gruppen für einen Namen sollen zusammengeführt werden, und hier macht es keinen Unterschied, weil beide dasselbe sagen – eine Dublette mit zwei verschiedenen Regeln ist dagegen ein Glücksspiel und lohnt die Suche.

Zwei der fünfzehn lieferten überhaupt keine Datei. Genau dieser Fall ist der interessanteste.

Eine Datei, die nicht antwortet, erlaubt alles

Was geschieht, wenn die robots.txt nicht gelesen werden kann, ist festgeschrieben – und läuft je nach Ursache in entgegengesetzte Richtungen.

Antwortet die Datei mit einem Fehler auf Seiten des Abrufenden – nicht gefunden, entfernt, verboten, irgendetwas im Vierhunderter-Bereich -, darf ein Crawler die Seite als vollständig offen behandeln. Keine Datei, keine Einschränkung. Das ist sinnvoll: die meisten Seiten haben gar keine robots.txt, und eine vorauszusetzen würde das Netz lahmlegen.

Versagt dagegen der Server – ein Fünfhunderter, eine Zeitüberschreitung -, soll der Crawler die Seite als vollständig gesperrt behandeln, zumindest für eine Weile. Ebenfalls sinnvoll: ein kaputter Server ist kein Freibrief, und ein Regelwerk, das eine Stunde lang verschwunden war, soll die Seite nicht für diese Stunde öffnen.

Dieselbe Abwesenheit bedeutet also Gegensätzliches, je nachdem, welche Seite ausgefallen ist. Und eine Seite, die ihre robots.txt mit einer Bot-Abwehr beantwortet – ungewöhnliche Aufrufer mit einem 403 oder 418 abweisen -, hat mit ebendieser Abwehr jedem regeltreuen Crawler mitgeteilt, dass alles erlaubt ist. Zwei der fünfzehn geprüften Seiten antworten genau so.

Die aufgeschriebenen Regeln sind nichts wert, wenn die Datei, die sie trägt, nicht ausgeliefert wird.

Was sich in einer Minute prüfen lässt

Vier Fragen klären den Zustand einer beliebigen Domain.

Antwortet die Datei mit einem schlichten 200, und ist es tatsächlich Text und keine Fehlerseite. Welche der vier Namen kommen vor, und hat jeder eine eigene Gruppe. Wird der Googlebot getrennt von Google-Extended behandelt, sodass aus der Trainingsentscheidung nicht versehentlich eine Sichtbarkeitsentscheidung wurde. Und taucht ein Name zweimal mit unterschiedlichen Regeln auf.

All das ist öffentlich, für jede Domain, und das Lesen kostet eine Anfrage. Der Indexierungs-Prüfer liest die robots.txt mit der richtigen Vorrangregel und meldet, welche Gruppe tatsächlich entschieden hat.

Die brauchbare Antwort ist ein Satz: ob diese Datei sagt, was ihre Verfasserin glaubt – und ob sie überhaupt ausgeliefert wird.