Drei Arten Crawler, eine robots.txt

Eine Datei, drei Leserschaften, die nichts miteinander zu tun haben. Ein Suchcrawler holt eine Seite, damit sie gefunden wird; ein Trainingscrawler holt sie, damit daraus ein Modell entsteht; ein Assistent holt sie, weil vor einer Minute jemand eine Frage gestellt hat. Auseinanderhalten lassen sich die drei allein an dem Namen, mit dem sie sich melden, und eine Sperre für den einen sagt nichts über die anderen.

Deshalb ist die übliche Anweisung – die KI-Crawler sperren – keine Entscheidung, sondern drei, und zwei davon kosten etwas, das beim Hinzufügen der Zeile selten dazugesagt wird.

Drei Arten, die verschiedene Arbeit tun

Suchcrawler – Googlebot, Bingbot und der Rest – bauen den Index, aus dem gewöhnliche Ergebnisse stammen. Eine Sperre nimmt die Seite binnen Wochen aus der Suche, weshalb es niemand absichtlich tut und weshalb es aus Versehen geschieht: ein Disallow: / aus der Testumgebung, das den Umzug überlebt hat.

Trainingscrawler – GPTBot, Google-Extended, ClaudeBot, CCBot und andere – sammeln Material, aus dem Modelle entstehen. Sie holen einmal und lesen alles; nichts davon kommt als Besuch zurück.

Assistenten-Crawler – OAI-SearchBot, ChatGPT-User, PerplexityBot – holen eine Seite, weil gerade eine Frage beantwortet wird. Was sie holen, kommt oft zurück: als Quellenangabe, als Verweis, als jener Satz, den jemand statt des Suchergebnisses liest.

Was jede Sperre verhindert und kostet

Die mittlere Zeile ist die, über die sich aus Grundsatz entscheiden lässt, ohne dafür zu bezahlen. Die untere ist die, über die aus Versehen entschieden wird, weil die Kennungen in jeder herumgereichten Liste direkt neben denen fürs Training stehen.

Google-Extended ist nicht Googlebot

Die Unterscheidung, die das meiste Zögern verursacht: Google-Extended regelt, ob Inhalte für das Training von Gemini und der Vertex-Modelle verwendet werden. Auf das Erfassen für die Suche, auf die Indexierung und auf die Platzierung wirkt sie nicht. Eine Sperre ändert nichts daran, wie eine Seite bei Google abschneidet, und das ist keine Behauptung, die Vertrauen verlangt – dafür ist die Kennung da.

Dieselbe Trennung zieht sich durch die anderen Anbieter. GPTBot ist Training; OAI-SearchBot speist den Suchindex hinter dem Assistenten; ChatGPT-User ist der Abruf, der geschieht, wenn ein Mensch fragt. Alle drei zu sperren, weil die Namen ähnlich aussehen, ist der häufigste Weg, auf dem eine Seite stillschweigend aus den Antworten verschwindet, in denen sie stehen wollte.

Rückwirkend geht nichts

Eine Sperre gilt ab dem Augenblick, in dem sie gelesen wird. Was bereits geholt wurde, sitzt in Sammlungen, die daraus entstanden sind, und die schauen nicht noch einmal in die robots.txt. Eine Seite, die seit Jahren online ist und heute die Zeilen ergänzt, hat über künftige Abrufe entschieden und nicht über vergangene.

Das gehört deutlich gesagt, weil die Entscheidung oft als Entfernen dargestellt wird. Sie ist kein Entfernen, sondern ein Zaun um das, was noch nicht geholt wurde.

llms.txt: eine Karte, keine Regel

Die Datei unter /llms.txt ist in ihrer Absicht das Gegenteil der robots.txt: sie verbietet nicht, sie weist hin. Ein kurzes Markdown-Dokument, das benennt, worum es auf der Seite geht und welche Seiten den Gehalt tragen – ein Inhaltsverzeichnis für etwas, das ohne Navigation gelesen wird.

Zwei Dinge gehören dazu klargestellt. Es ist ein Vorschlag und kein Standard, und kein Crawler ist verpflichtet, danach zu suchen. Und es beschränkt nichts: eine dort aufgeführte Seite ist damit nicht erlaubt, und eine fehlende ist damit nicht geschützt. Das Schreiben kostet zehn Minuten und ist genau so viel wert wie ein gutes Inhaltsverzeichnis – nämlich gar nichts, wenn die Seiten dahinter dünn sind.

Was robots.txt nicht leistet

Sie ist eine Bitte und kein Schloss. Jeder Crawler entscheidet selbst, ob er sich daran hält, und jene, die es tun, sind genau die, die eine Kennung veröffentlichen, unter der sich eine Sperre setzen lässt. Was die Datei ignoriert, ist von nichts darin betroffen.

Und sie hält eine Seite nicht aus den Suchergebnissen heraus. Eine gesperrte Seite, auf die andere verweisen, kann trotzdem erscheinen, nur ohne Beschreibung, weil der Crawler nicht lesen durfte, was darauf steht. Etwas aus dem Index zu halten verlangt ein noindex – wofür der Crawler hineindürfen muss, um es zu lesen – und etwas privat zu halten verlangt eine Anmeldung. Die robots.txt steht unterhalb von beidem und taugt gut für genau das, was sie ist: Verkehrsführung für die Crawler, die sich führen lassen.