{"id":14730,"date":"2026-10-25T12:45:00","date_gmt":"2026-10-25T11:45:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/blog\/?p=14730"},"modified":"2026-10-26T12:50:56","modified_gmt":"2026-10-26T11:50:56","slug":"abrufhaufigkeit-der-robots-txt-was-historische-protokolle-belegen","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/de\/cloud-ai-de\/tutorials-de-cloud-ai-de\/abrufhaufigkeit-der-robots-txt-was-historische-protokolle-belegen\/","title":{"rendered":"Abrufh\u00e4ufigkeit der robots.txt: Was historische Protokolle belegen"},"content":{"rendered":"

Eine \u00c4nderung der robots.txt ver\u00f6ffentlicht eine Anweisung, ersetzt aber keine Zugriffskontrolle. Ein protokollierter Abruf zeigt einen Kontakt zum Server. Daraus folgt noch nicht, dass ein Crawler die neuen Regeln erhalten, verstanden und angewandt hat. Die erhaltene Auswertung ist hilfreich, erlaubt aber nur begrenzte Schl\u00fcsse.<\/p>\n

\"Eine<\/figure>\n

Die erhaltenen Belege<\/h2>\n

Der urspr\u00fcngliche Artikel nennt den 22. August bis 4. September 2026. Die gespeicherte Ausgabe enth\u00e4lt vierzehn Protokolldateigruppen; das Skript w\u00e4hlt die aktuelle Apache-Datei und dreizehn rotierte Dateien aus. Bei der Rotation wandern \u00e4ltere Eintr\u00e4ge in getrennte Dateien. Eine Datei muss deshalb nicht genau einen Tag abdecken. Zeitstempel werden nicht gefiltert. Vierzehn Dateien belegen deshalb weder vierzehn vollst\u00e4ndige Tage noch unabh\u00e4ngig den genannten Zeitraum.<\/p>\n

Das \u00fcberarbeitete historische Skript ber\u00fccksichtigt Hauptdomain und www-Pr\u00e4fix. Die Zuordnung erfolgt anhand des User-Agent-Textes ohne Pr\u00fcfung der Quell-IP. Das sind angegebene Kennungen, keine best\u00e4tigten Betreiberidentit\u00e4ten. Gez\u00e4hlt wird au\u00dferdem jede Anfragezeile mit robots.txt, auch ein Unterpfad, ein Sicherungsdateiname oder ein Suchparameter. Methode und Antwortstatus bleiben ungepr\u00fcft.<\/p>\n

Was die gespeicherten Zahlen aussagen<\/h2>\n

Die Tabelle gibt die erhaltene Zusammenfassung wieder. Die letzte Spalte teilt durch vierzehn, damit die urspr\u00fcngliche Rechnung vergleichbar bleibt. Daraus wird keine neu best\u00e4tigte Tagesrate. \u00dcbrige Anfragen sind nicht automatisch Seiten: Auch Weiterleitungen, Fehler und Dateien k\u00f6nnen enthalten sein.<\/p>\n

F\u00fcr CCBot sind neun Treffer gespeichert, nicht die aus drei Abrufen t\u00e4glich folgende Zahl. PerplexityBot hat dreizehn Treffer: rund 0,9 statt 1,9 je rechnerischem Tag. Bei Bytespider entsprechen 615 von 805 Anfragen 76,4 Prozent; bei OAI-SearchBot ergeben 152 von 477 rund 31,9 Prozent. Das sind Anfrageanteile, keine Nachweise erfolgreicher Regelabrufe.<\/p>\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
Angegebene Kennung<\/th>\nAnfragen<\/th>\nrobots.txt-Treffer<\/th>\nTreffer \/ 14<\/th>\n<\/tr>\n<\/thead>\n
Bytespider<\/td>\n805<\/td>\n615<\/td>\n43,9<\/td>\n<\/tr>\n
ClaudeBot<\/td>\n10 227 745<\/td>\n601<\/td>\n42,9<\/td>\n<\/tr>\n
OAI-SearchBot<\/td>\n477<\/td>\n152<\/td>\n10,9<\/td>\n<\/tr>\n
Applebot<\/td>\n958<\/td>\n147<\/td>\n10,5<\/td>\n<\/tr>\n
Googlebot<\/td>\n875<\/td>\n124<\/td>\n8,9<\/td>\n<\/tr>\n
bingbot<\/td>\n4 357<\/td>\n69<\/td>\n4,9<\/td>\n<\/tr>\n
PerplexityBot<\/td>\n607<\/td>\n13<\/td>\n0,9<\/td>\n<\/tr>\n
CCBot<\/td>\n167<\/td>\n9<\/td>\n0,6<\/td>\n<\/tr>\n
Amazonbot<\/td>\n10 700<\/td>\n9<\/td>\n0,6<\/td>\n<\/tr>\n
ChatGPT-User<\/td>\n1 047<\/td>\n1<\/td>\n0,1<\/td>\n<\/tr>\n
meta-externalagent<\/td>\n1 851<\/td>\n0<\/td>\n0,0<\/td>\n<\/tr>\n
GPTBot<\/td>\n1 464<\/td>\n0<\/td>\n0,0<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Ein Mittelwert ist keine Frist<\/h2>\n

Selbst wenn 615 Anfragen genau vierzehn Tage abdeckten, erg\u00e4be die Division weder die l\u00e4ngste Pause noch den n\u00e4chsten Abruf oder den Zeitpunkt der Regelanwendung. Mehrere Prozesse, verschiedene Kombinationen aus Protokoll, Host und Port, geb\u00fcndelte Anfragen und Wiederholungen k\u00f6nnen denselben Mittelwert erzeugen.<\/p>\n

Null Treffer bedeuten nur keinen Treffer in dieser Zusammenfassung. Geteilte Zwischenspeicher, andere Kennungen, fehlende Protokolle oder falsche Zuordnung bleiben m\u00f6gliche Erkl\u00e4rungen. Umgekehrt ist eine vierzehn Tage alte Kopie nicht automatisch gerechtfertigt: RFC 9309 empfiehlt die Erneuerung innerhalb von 24 Stunden, au\u00dfer bei Nichterreichbarkeit. F\u00fcr die bisher behauptete Wirkung nach sieben Minuten fehlt im gepr\u00fcften Paket eine zeitgestempelte Vorher\/Nachher-Aufzeichnung.<\/p>\n

Dienstklasse und Fehlerfall unterscheiden<\/h2>\n

ChatGPT-User ist als durch Nutzeraktionen ausgel\u00f6ster Agent dokumentiert, nicht als automatischer Webcrawler. Auf solche Anfragen m\u00fcssen robots.txt-Regeln nicht zutreffen. Eine Rangliste mit unterstelltem identischem Aktualisierungsauftrag w\u00e4re deshalb irref\u00fchrend. Google beschreibt zudem gemeinsam genutzte robots.txt-Zwischenspeicher verschiedener Crawler.<\/p>\n

RFC 9309 erlaubt Zugriff bei einer nicht verf\u00fcgbaren robots.txt, etwa nach 4xx, und verlangt bei Server- oder Netzfehlern zun\u00e4chst die Annahme einer Sperre; f\u00fcr lange Ausf\u00e4lle besteht eine Ausnahme. Google behandelt gew\u00f6hnliche 4xx als fehlende Abrufbeschr\u00e4nkung, 429 jedoch anders. Bei Serverfehlern pausiert Google zun\u00e4chst zw\u00f6lf Stunden und kann danach die letzte g\u00fcltige Fassung verwenden. Ohne gespeicherte Fassung kann der Abruf unbeschr\u00e4nkt weitergehen. Ein 503 ist deshalb keine verl\u00e4ssliche dauerhafte Sperre.<\/p>\n

Ein 403 auf robots.txt hebt weder Anmeldung noch Firewallregeln anderer URLs auf. Ein 304 kann eine gespeicherte Fassung g\u00fcltig best\u00e4tigen. Ein klarer 200 mit aktuellem Text ist hilfreich; die Forderung, jede zul\u00e4ssige Antwort m\u00fcsse 200 sein, w\u00e4re jedoch falsch.<\/p>\n

Eine belastbarere Messung<\/h2>\n

Eine Folgeauswertung ben\u00f6tigt festen Zeitraum und Zeitzone, Protokoll, Host, Port, exakten Pfad, Methode, Status und Regelversion. Die Betreiberidentit\u00e4t braucht eine eigene Pr\u00fcfung. Auch CDN-Protokolle und Zeitstempel f\u00fcr Abrufpausen geh\u00f6ren dazu. Ein Inhalts-Hash ist ein aus dem Dateiinhalt berechneter Fingerabdruck. Dieser Hash oder eine Versionskennung verkn\u00fcpft einen erfolgreichen Abruf mit den ge\u00e4nderten Regeln.<\/p>\n

Die Google Search Console erlaubt bei wichtigen \u00c4nderungen eine erneute robots.txt-Abfrage. Daraus folgt keine sofortige Abfrage der betroffenen Seiten. Andere Anbieter ben\u00f6tigen jeweils aktuelle Belege. Dringender Schutz geh\u00f6rt in Zugriffskontrollen oder passende Ratenbegrenzungen mit klarer Reichweite. robots.txt entfernt keine URLs selbst aus einem Index. Ein lesbares noindex, entfernte Inhalte oder beschr\u00e4nkter Zugriff dienen unterschiedlichen Zielen.<\/p>\n

Quellen<\/h2>\n