{"id":13494,"date":"2026-09-12T12:45:00","date_gmt":"2026-09-12T10:45:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/blog\/?p=13494"},"modified":"2026-09-09T21:30:36","modified_gmt":"2026-09-09T19:30:36","slug":"gptbot-claudebot-und-google-extended-was-ein-eintrag-in-der-robots-txt","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/de\/cloud-ai-de\/tutorials-de-cloud-ai-de\/gptbot-claudebot-und-google-extended-was-ein-eintrag-in-der-robots-txt\/","title":{"rendered":"GPTBot, ClaudeBot und Google-Extended: Was ein Eintrag in der robots.txt wirklich bewirkt"},"content":{"rendered":"

Eine einzige Datei an der Wurzel einer Website entscheidet, wer sie lesen darf – reiner Text, kein Passwort, und alles darin ist eine Bitte und keine Vorschrift.<\/p>\n

Seit Sprachmodelle aus dem offenen Netz lernen, tr\u00e4gt diese Datei vier neue Namen. Jeden davon einzutragen kostet eine Zeile. Ob die Zeile etwas bewirkt, h\u00e4ngt an Einzelheiten, die sich leicht verwechseln lassen – und an einem Fall, in dem die Datei alles erlaubt, gerade weil sie zu fehlen scheint.<\/p>\n

\n\"Drei
Der mittlere Fall ist der, mit dem niemand rechnet: eine Fehlerantwort gilt als Erlaubnis.<\/figcaption><\/figure>\n

Was die robots.txt ist und was nicht<\/h2>\n

Die robots.txt ist eine Textdatei an der Wurzel einer Domain und listet auf, welche Adressen ein Crawler holen darf. Jeder Crawler liest sie zuerst, vor allem anderen.<\/p>\n

Was sie nicht ist: ein Schloss. Nichts erzwingt sie. Ein Crawler, der die Datei \u00fcbergeht, bekommt die Seiten trotzdem, und die einzige Folge betrifft seinen Ruf. Die gro\u00dfen, namentlich bekannten Crawler halten sich daran – das ist \u00fcberhaupt der Sinn eines Namens, denn ein namenloser Crawler l\u00e4sst sich weder ansprechen noch bei der Einhaltung beobachten.<\/p>\n

Die Datei wirkt also genau so weit, wie die Gegenseite erkennbar sein m\u00f6chte. Das geh\u00f6rt klar gesagt, bevor irgendetwas hineingeschrieben wird.<\/p>\n

Die vier Namen, auf die es zurzeit ankommt<\/h2>\n

GPTBot<\/strong> holt Seiten f\u00fcr das Modelltraining von OpenAI. Getrennt davon l\u00e4uft der Crawler, der eine Seite holt, weil gerade jemand eine Frage dazu gestellt hat – zwei Aufgaben, zwei Namen.<\/p>\n

ClaudeBot<\/strong> ist das Gegenst\u00fcck f\u00fcr die Modelle von Anthropic.<\/p>\n

CCBot<\/strong> geh\u00f6rt zu Common Crawl, einem \u00f6ffentlichen Archiv des Netzes. Er ist der \u00e4lteste der vier und der folgenreichste, denn sein Archiv speist viele weitere Vorhaben – einen Modellanbieter zu sperren und CCBot offen zu lassen hei\u00dft, dass die Seiten das Training trotzdem erreichen, nur einen Schritt sp\u00e4ter.<\/p>\n

Google-Extended<\/strong> f\u00e4llt aus der Reihe, und der n\u00e4chste Abschnitt handelt davon, warum.<\/p>\n

Angesprochen wird jeder gleich: eine Gruppe mit dem Namen des Crawlers, darunter die Pfade, die er nicht bekommen soll. Eine Gruppe gilt f\u00fcr genau einen Namen, und ein Crawler mit eigener Gruppe \u00fcbergeht die allgemeine Gruppe vollst\u00e4ndig – eine Regel, die vor dem ersten Eintrag bekannt sein sollte und die im Beitrag \u00fcber Canonical, hreflang und noindex<\/a> ausf\u00fchrlich steht.<\/p>\n

Google-Extended tut nicht, was der Name nahelegt<\/h2>\n

Dieser Eintrag wird am h\u00e4ufigsten falsch gelesen, und die Verwechslung ist in beide Richtungen teuer.<\/p>\n

Google-Extended ist kein Crawler. Es kommt nie eine Anfrage unter diesem Namen an. Es ist eine Kennzeichnung, die eine getrennte Frage beantwortet: darf der Inhalt, den Google ohnehin geholt hat, zum Training der Modelle verwendet werden.<\/p>\n

Das Holen selbst erledigt der Googlebot, unter eigenem Namen und nach eigenen Regeln. Eine Sperre f\u00fcr Google-Extended \u00e4ndert deshalb nichts daran, wie eine Seite durchsucht wird, und nichts daran, ob sie in den Suchergebnissen steht. Die Seiten werden weiterhin geholt, aufgenommen und bewertet.<\/p>\n

Der umgekehrte Fehler kostet mehr. Wer den Googlebot sperrt, um Inhalte aus dem KI-Training herauszuhalten, entfernt die Seite zugleich aus den Suchergebnissen – denn der eine Crawler, der beide Aufgaben erledigt, ist genau der gesperrte. Aus einer Entscheidung \u00fcber Training wird eine Entscheidung \u00fcber Sichtbarkeit.<\/p>\n

Zwei Namen, zwei Fragen. Diese beiden zu vertauschen ist das Sch\u00e4dlichste, was sich in dieser Datei anstellen l\u00e4sst.<\/p>\n

\n\"Ein
\n<\/figure>\n

Was dreizehn echte Dateien tats\u00e4chlich sagen<\/h2>\n

Nachsehen bringt mehr als vermuten. F\u00fcnfzehn gro\u00dfe Seiten wurden am 1. September 2026 gepr\u00fcft; dreizehn lieferten eine lesbare Datei.<\/p>\n

GPTBot steht in sechs davon, ClaudeBot in sechs, CCBot in f\u00fcnf, Google-Extended in vier. Ungef\u00e4hr die H\u00e4lfte dieser Seiten hat sich also festgelegt, die andere H\u00e4lfte nicht – was selbst eine Festlegung ist, denn Schweigen bedeutet Erlaubnis.<\/p>\n

Die Dateien unterscheiden sich enorm im Umfang. Eine kommt auf \u00fcber 33.000 Zeichen mit dreizehn Gruppen, eine andere hat eine einzige Gruppe und 62 Zeichen. Ein gro\u00dfer H\u00e4ndler f\u00fchrt ClaudeBot zweimal, in zwei getrennten Gruppen, beide mit derselben Regel. Doppelte Gruppen f\u00fcr einen Namen sollen zusammengef\u00fchrt werden, und hier macht es keinen Unterschied, weil beide dasselbe sagen – eine Dublette mit zwei verschiedenen Regeln ist dagegen ein Gl\u00fccksspiel und lohnt die Suche.<\/p>\n

Zwei der f\u00fcnfzehn lieferten \u00fcberhaupt keine Datei. Genau dieser Fall ist der interessanteste.<\/p>\n

Eine Datei, die nicht antwortet, erlaubt alles<\/h2>\n

Was geschieht, wenn die robots.txt nicht gelesen werden kann, ist festgeschrieben – und l\u00e4uft je nach Ursache in entgegengesetzte Richtungen.<\/p>\n

Antwortet die Datei mit einem Fehler auf Seiten des Abrufenden – nicht gefunden, entfernt, verboten, irgendetwas im Vierhunderter-Bereich -, darf ein Crawler die Seite als vollst\u00e4ndig offen behandeln. Keine Datei, keine Einschr\u00e4nkung. Das ist sinnvoll: die meisten Seiten haben gar keine robots.txt, und eine vorauszusetzen w\u00fcrde das Netz lahmlegen.<\/p>\n

Versagt dagegen der Server – ein F\u00fcnfhunderter, eine Zeit\u00fcberschreitung -, soll der Crawler die Seite als vollst\u00e4ndig gesperrt behandeln, zumindest f\u00fcr eine Weile. Ebenfalls sinnvoll: ein kaputter Server ist kein Freibrief, und ein Regelwerk, das eine Stunde lang verschwunden war, soll die Seite nicht f\u00fcr diese Stunde \u00f6ffnen.<\/p>\n

Dieselbe Abwesenheit bedeutet also Gegens\u00e4tzliches, je nachdem, welche Seite ausgefallen ist. Und eine Seite, die ihre robots.txt mit einer Bot-Abwehr beantwortet – ungew\u00f6hnliche Aufrufer mit einem 403 oder 418 abweisen -, hat mit ebendieser Abwehr jedem regeltreuen Crawler mitgeteilt, dass alles erlaubt ist. Zwei der f\u00fcnfzehn gepr\u00fcften Seiten antworten genau so.<\/p>\n

Die aufgeschriebenen Regeln sind nichts wert, wenn die Datei, die sie tr\u00e4gt, nicht ausgeliefert wird.<\/p>\n

Was sich in einer Minute pr\u00fcfen l\u00e4sst<\/h2>\n

Vier Fragen kl\u00e4ren den Zustand einer beliebigen Domain.<\/p>\n

Antwortet die Datei mit einem schlichten 200, und ist es tats\u00e4chlich Text und keine Fehlerseite. Welche der vier Namen kommen vor, und hat jeder eine eigene Gruppe. Wird der Googlebot getrennt von Google-Extended behandelt, sodass aus der Trainingsentscheidung nicht versehentlich eine Sichtbarkeitsentscheidung wurde. Und taucht ein Name zweimal mit unterschiedlichen Regeln auf.<\/p>\n

All das ist \u00f6ffentlich, f\u00fcr jede Domain, und das Lesen kostet eine Anfrage. Der Indexierungs-Pr\u00fcfer<\/a> liest die robots.txt mit der richtigen Vorrangregel und meldet, welche Gruppe tats\u00e4chlich entschieden hat.<\/p>\n

Die brauchbare Antwort ist ein Satz: ob diese Datei sagt, was ihre Verfasserin glaubt – und ob sie \u00fcberhaupt ausgeliefert wird.<\/p>\n

\n

Quellen<\/h2>\n