{"id":10346,"date":"2026-09-04T12:30:00","date_gmt":"2026-09-04T10:30:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/blog\/?p=10346"},"modified":"2026-10-24T03:15:00","modified_gmt":"2026-10-24T01:15:00","slug":"robots-txt-fur-such-trainings-und-assistenten-crawler-was-jede-sperre","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/robots-txt-fur-such-trainings-und-assistenten-crawler-was-jede-sperre\/","title":{"rendered":"robots.txt f\u00fcr Such-, Trainings- und Assistenten-Crawler: Was jede Sperre bewirkt"},"content":{"rendered":"

robots.txt<\/code> formuliert Vorgaben f\u00fcr automatische Abrufe. Suchindexierung, Modelltraining und nutzergesteuertes Nachschlagen sind verschiedene Zwecke; ein Anbieter kann denselben Abruf aber f\u00fcr mehrere erlaubte Zwecke verwenden. Ein User-Agent-Name beschreibt eine behauptete Rolle und best\u00e4tigt nicht die Herkunft.<\/p>\n

Eine brauchbare Regel beginnt beim gew\u00fcnschten Ergebnis: Suchsichtbarkeit erhalten, bestimmte Trainingsnutzungen ausschlie\u00dfen oder direkte Abrufe begrenzen. Die passenden Produktkennungen und technischen Ma\u00dfnahmen unterscheiden sich.<\/p>\n

\n\"Suche,
Suche, Training und direkte Abrufe brauchen getrennte Entscheidungen. Folgen h\u00e4ngen von der Produktkennung und dem dokumentierten Verhalten des Anbieters ab.<\/figcaption><\/figure>\n

Zwecke und Crawler-Kennungen<\/h2>\n

Googlebot<\/code> und Bingbot<\/code> erfassen Inhalte f\u00fcr die Suche. Eine Sperre kann die Verarbeitung neuer Inhalte verhindern und die Sichtbarkeit beeintr\u00e4chtigen, garantiert aber keine Entfernung aus Suchergebnissen innerhalb weniger Wochen. Bekannte URLs k\u00f6nnen im Index bleiben. Unn\u00fctze Crawl-Pfade gezielt zu begrenzen kann sinnvoll sein; ein pauschales Disallow: \/<\/code> auf der Produktionswebsite ben\u00f6tigt eine sorgf\u00e4ltige Pr\u00fcfung.<\/p>\n

GPTBot<\/code> und ClaudeBot<\/code> unterst\u00fctzen die Modellentwicklung. CCBot<\/code> erstellt den \u00f6ffentlichen Datensatz von Common Crawl, auch f\u00fcr Zwecke au\u00dferhalb des Trainings. Google-Extended<\/code> ist eine Steuerungskennung f\u00fcr bestimmte Trainings- und Grounding-Nutzungen, kein eigener Crawler. Diese Dienste erfassen weder zwangsl\u00e4ufig jede Seite noch grunds\u00e4tzlich nur einmal.<\/p>\n

OAI-SearchBot<\/code>, PerplexityBot<\/code> und Claude-SearchBot<\/code> unterst\u00fctzen Suchdienste. ChatGPT-User<\/code>, Perplexity-User<\/code> und Claude-User<\/code> dienen nutzergesteuerten Abrufen. Laut OpenAI gelten robots.txt-Regeln f\u00fcr ChatGPT-User m\u00f6glicherweise nicht; laut Perplexity ignoriert der eigene Nutzer-Fetcher diese Regeln gew\u00f6hnlich. Anthropic erkl\u00e4rt dagegen die Beachtung von robots.txt f\u00fcr die eigenen Bots. Das Verhalten h\u00e4ngt somit vom Anbieter ab.<\/p>\n

Was eine Sperre \u00e4ndern kann<\/h2>\n\n\n\n\n\n\n\n
Zweck<\/th>\nWas die Regel steuert<\/th>\nGrenzen und m\u00f6gliche Folgen<\/th>\n<\/tr>\n<\/thead>\n
Suche einschlie\u00dflich KI-Suche<\/td>\nBegrenzt Abrufe des ausgew\u00e4hlten kooperierenden Suchdienstes.<\/td>\nAktualit\u00e4t und Sichtbarkeit k\u00f6nnen leiden; keine garantierte Entfernung aus dem Index.<\/td>\n<\/tr>\n
Training oder Produktnutzung<\/td>\nSignalisiert die Trainings- oder Nutzungsvorgabe f\u00fcr den betreffenden Anbieter.<\/td>\nFolgen h\u00e4ngen von der Kennung ab; Google-Extended umfasst auch Grounding.<\/td>\n<\/tr>\n
Nutzergesteuerte Abrufe<\/td>\nKann direkte Abrufe begrenzen, wenn der Dienst die Regel beachtet.<\/td>\nAnbieterabh\u00e4ngig: robots.txt ist keine allgemeing\u00fcltige Zugangssperre.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Eine reine Trainingskennung zu sperren muss die Suche nicht sperren. Die Aussage \u201eohne Folgen f\u00fcr die Sichtbarkeit\u201c geht jedoch zu weit: Google-Extended steuert auch Grounding. Au\u00dferdem garantiert eine Sperre nicht, dass keinerlei Kopie \u00fcber andere Quellen in irgendeinen Trainingsdatensatz gelangt.<\/p>\n

Google-Extended ist nicht Googlebot<\/h2>\n

Google-Extended<\/code> steuert die Nutzung erfasster Inhalte f\u00fcr zuk\u00fcnftige Gemini-Generationen hinter Gemini Apps und der Vertex AI API for Gemini sowie f\u00fcr Grounding in Gemini Apps und Grounding with Google Search auf Vertex AI. Grounding erg\u00e4nzt eine Antwort um abgerufene Informationen. Laut Google beeinflusst diese Kennung weder Aufnahme noch Platzierung in Google Search; die Aussage gilt nicht pauschal f\u00fcr jedes Google-KI-Produkt.<\/p>\n

OpenAI trennt die Trainingsvorgabe f\u00fcr GPTBot<\/code> von der Suchvorgabe f\u00fcr OAI-SearchBot<\/code>. Ein Ausschluss von OAI-SearchBot verhindert laut OpenAI die Darstellung in ChatGPT-Suchantworten; Navigationslinks k\u00f6nnen weiterhin erscheinen. ChatGPT-User<\/code> steuert die Suchaufnahme nicht. Ein erlaubter Abruf garantiert weder eine Quellenangabe noch einen Besuch.<\/p>\n

Grenzen r\u00fcckwirkender Kontrolle<\/h2>\n

Neue Regeln wirken nach Abruf und Verarbeitung der Datei durch den Dienst. Zwischengespeicherte Fassungen k\u00f6nnen die \u00c4nderung verz\u00f6gern. Ein neues Disallow ist kein Befehl zum L\u00f6schen bereits gesammelter Archive oder zum Entfernen von Informationen aus einem bereits trainierten Modell.<\/p>\n

L\u00f6schanfragen und Zugangskontrollen sind eigenst\u00e4ndige Ma\u00dfnahmen. robots.txt allein garantiert keine r\u00fcckwirkende L\u00f6schung, auch nicht f\u00fcr Kopien aus Drittquellen.<\/p>\n

llms.txt als Inhaltswegweiser<\/h2>\n

llms.txt<\/code> bietet einen redaktionell ausgew\u00e4hlten Markdown-Wegweiser zu hilfreichen Inhalten. Die \u00dcberarbeitung des Vorschlags vom August 2026 unterst\u00fctzt auch Dateien unterhalb der Website-Wurzel, etwa \/docs\/llms.txt<\/code> f\u00fcr diesen Pfad.<\/p>\n

Der Vorschlag verpflichtet nicht jeden Crawler zur Nutzung und legt keine Zugangsberechtigung fest. Eine aufgef\u00fchrte URL erteilt weder eine Lizenz noch \u00fcberstimmt der Eintrag robots.txt, Anmeldung oder andere Zugangskontrollen. Der Wegweiser braucht korrekte Links und Pflege; die Erstellung garantiert keine bessere Suchplatzierung.<\/p>\n

Grenzen von robots.txt<\/h2>\n

robots.txt ist ein Protokoll f\u00fcr kooperierende automatische Clients, keine Zugangskontrolle. Regelwidrig handelnde Clients und manche nutzergesteuerten Abrufdienste k\u00f6nnen \u00f6ffentliche Inhalte weiterhin anfordern. Vertrauliche Inhalte ben\u00f6tigen echte Berechtigungspr\u00fcfungen.<\/p>\n

Eine gesperrte URL kann weiterhin in Suchergebnissen erscheinen, ohne eine aus der Seite abgerufene Beschreibung. Bei unterst\u00fctzenden Suchmaschinen verlangt noindex<\/code> den Ausschluss von der Indexierung; daf\u00fcr muss der Crawler diese Anweisung abrufen k\u00f6nnen. Eine gleichzeitige Crawl-Sperre kann das Entdecken einer neu gesetzten noindex-Anweisung verhindern.<\/p>\n

Entscheidende technische Einzelheiten<\/h2>\n

Google-Extended ist keine HTTP-Kennung<\/h3>\n

Google-Extended hat keinen eigenen HTTP-User-Agent. Google verwendet vorhandene Crawler-Kennungen und wertet das Token als Vorgabe zur Produktnutzung aus. Eine Serverregel allein gegen den Namen \u201eGoogle-Extended\u201c setzt diese Vorgabe daher nicht um. Eine Sperre des tats\u00e4chlich abrufenden Crawlers kann zugleich die Suche treffen und ist kein gleichwertiger Ersatz.<\/p>\n

CCBot speist ein \u00f6ffentliches Archiv<\/h3>\n

Common Crawl meldet den Crawler als CCBot\/2.0<\/code> und dokumentiert die Beachtung von robots.txt. Die Daten sind unter den Common-Crawl-Bedingungen \u00fcber Amazon S3 verf\u00fcgbar. Der Datensatz bildet eine Auswahl des Webs, kein garantiert vollst\u00e4ndiges Archiv jeder Website. Sperren einzelner Modellanbieter lassen diesen gesonderten Verbreitungsweg offen, solange keine eigene Regel daf\u00fcr besteht.<\/p>\n

Doppelte Gruppen f\u00fchren Regeln zusammen<\/h3>\n

RFC 9309 f\u00fchrt Gruppen mit derselben passenden Produktkennung ohne R\u00fccksicht auf Gro\u00df- und Kleinschreibung zusammen. Innerhalb der zusammengef\u00fchrten Regeln gewinnt der spezifischste passende Pfad. Zwei GPTBot-Gruppen mit Disallow: \/<\/code> und Allow: \/blog\/<\/code> erlauben deshalb \/blog\/<\/code>. Doppelte Gruppen geh\u00f6ren gemeinsam gepr\u00fcft.<\/p>\n

\n

Fragen und Antworten<\/h2>\n

Gilt eine Regel unter User-agent: * auch f\u00fcr einen Crawler, der in der Datei eine eigene Gruppe hat?<\/h3>\n

Eine passende benannte Gruppe hat Vorrang vor der Auffanggruppe User-agent: *<\/code>; die Regeln werden nicht miteinander verschmolzen. Eine OAI-SearchBot-Gruppe mit ausschlie\u00dflich Allow: \/<\/code> \u00fcbernimmt deshalb keine Ausschl\u00fcsse aus der Sternchengruppe.<\/p>\n

Gemeinsame Ausschl\u00fcsse m\u00fcssen auch in den zutreffenden benannten Gruppen stehen. Die l\u00e4ngste passende Regel gewinnt; bei gleichwertigen Regeln soll laut RFC Allow gewinnen. Bei Pfaden empfiehlt das RFC die Beachtung der Gro\u00df- und Kleinschreibung, anders als beim Vergleich der Produktkennungen.<\/p>\n

Woran l\u00e4sst sich erkennen, ob ein Abruf wirklich von Googlebot oder ChatGPT-User stammt und nicht nur so hei\u00dft?<\/h3>\n

Der HTTP-User-Agent ist frei w\u00e4hlbar. Die Herkunftspr\u00fcfung sollte dem dokumentierten Verfahren des Anbieters folgen und die betreffende Crawler-Kategorie unterscheiden:<\/p>\n

    \n
  1. Bei Google die Quell-IP r\u00fcckw\u00e4rts aufl\u00f6sen, das dokumentierte Hostnamenmuster der betreffenden Crawler-Kategorie pr\u00fcfen und den Hostnamen vorw\u00e4rts auf die urspr\u00fcngliche IP zur\u00fcckf\u00fchren. Der Domainvergleich braucht eine echte Namensgrenze: evilgooglebot.com ist nicht googlebot.com. Eine fehlgeschlagene Pr\u00fcfung l\u00e4sst die Herkunft unbest\u00e4tigt und beweist noch keine F\u00e4lschung.<\/li>\n
  2. Alternativ die Quell-IP mit den aktuellen offiziellen Bereichen des jeweiligen Crawlers abgleichen. Google und OpenAI ver\u00f6ffentlichen maschinenlesbare Listen. Ein Treffer in einem allgemeinen Cloud-Adressbereich reicht nicht aus.<\/li>\n<\/ol>\n

    F\u00fcr serverseitige Ausnahmen muss die Pr\u00fcfung vor einer Vertrauensentscheidung anhand des Namens stehen. Die Zugeh\u00f6rigkeit zu einer gemeinsamen Cloud belegt noch keinen Googlebot-Abruf. Hinter Proxys muss auch die Quelladresse \u00fcber einen vertrauensw\u00fcrdigen Netzwerkpfad ermittelt werden.<\/p>\n

    Was geschieht, wenn die robots.txt selbst nicht erreichbar ist oder einen Fehler liefert?<\/h3>\n

    RFC 9309 erlaubt Abrufe bei nicht verf\u00fcgbarer robots.txt, beispielsweise mit einer 4xx-Antwort. Bei Netzwerk- oder Serverfehlern verlangt das RFC eine vollst\u00e4ndige Sperre, soweit keine nutzbare zwischengespeicherte Regel gilt. Nach l\u00e4ngerer St\u00f6rung, beispielsweise 30 Tagen, darf die Datei als nicht verf\u00fcgbar behandelt werden. Zwischengespeicherte Regeln sollten gew\u00f6hnlich h\u00f6chstens 24 Stunden verwendet werden; eine Ausnahme gilt bei unerreichbarer robots.txt.<\/p>\n

    Google dokumentiert konkrete Abweichungen: 4xx-Antworten au\u00dfer 429 bedeuten keine Crawl-Beschr\u00e4nkung. Nach einem Serverfehler beim Abruf der robots.txt pausiert Google zun\u00e4chst zw\u00f6lf Stunden und verwendet anschlie\u00dfend bis zu 30 Tage die letzte g\u00fcltige Datei bei fortgesetzten Abrufversuchen. Ohne zwischengespeicherte Datei nimmt Google keine Beschr\u00e4nkung an. Bei anhaltender St\u00f6rung z\u00e4hlt zus\u00e4tzlich die allgemeine Erreichbarkeit der Website. Eine 403-Antwort f\u00fcr robots.txt ist daher keine verl\u00e4ssliche Crawl-Sperre.<\/p>\n

    Wirkt eine Sperre f\u00fcr Google-Extended auch auf die KI-\u00dcbersichten in der Google-Suche?<\/h3>\n

    Google-Extended steuert weder AI Overviews noch AI Mode in der Suche. Daf\u00fcr gelten Googlebot-Zugriff und Suchsteuerungen. nosnippet<\/code>, max-snippet<\/code> und data-nosnippet<\/code> begrenzen nutzbare angezeigte Inhalte; noindex<\/code> verlangt den Ausschluss von der Indexierung. Diese Vorgaben k\u00f6nnen auch die gew\u00f6hnliche Suchdarstellung ver\u00e4ndern. \u00c4nderungen ben\u00f6tigen erneuten Abruf und Verarbeitung.<\/p>\n<\/div>\n

    \n

    Quellen<\/h2>\n