{"id":13592,"date":"2026-10-19T12:45:00","date_gmt":"2026-10-19T10:45:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/blog\/?p=13592"},"modified":"2026-10-09T23:40:00","modified_gmt":"2026-10-09T21:40:00","slug":"410-gone-auf-die-robots-txt-wie-eine-4xx-antwort-auf-die-regeldatei","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/de\/cloud-ai-de\/tutorials-de-cloud-ai-de\/410-gone-auf-die-robots-txt-wie-eine-4xx-antwort-auf-die-regeldatei\/","title":{"rendered":"410 Gone auf die robots.txt: Wie eine 4xx-Antwort auf die Regeldatei das Crawler-Verhalten ver\u00e4ndert"},"content":{"rendered":"

Eine Absage soll ein Gespr\u00e4ch beenden. Die deutlichste, die das Web kennt, ist 410 Gone<\/code>: nicht \u201esp\u00e4ter noch einmal”, nicht \u201eumgezogen”, sondern \u201edas gab es, und es gibt es nicht mehr”.<\/p>\n

Ein kleiner Server hat diese Absage an einem einzigen Tag 732.498-mal geschickt. Der Crawler, der die meisten davon bekam, wurde nicht langsamer – und war es seit elf Tagen nicht geworden.<\/p>\n

\n\"Vier
Vier Schritte, jeder f\u00fcr sich richtig, und zusammen haben sie einen Crawler elf Tage besch\u00e4ftigt.<\/figcaption><\/figure>\n

Was ein 410 wirklich sagt<\/h2>\n

Mehrere Antworten decken ab, auf welche Weise eine Seite nicht verf\u00fcgbar ist, und sie sagen recht Verschiedenes.<\/p>\n

404 Not Found<\/code> hei\u00dft: Hier ist nichts. Ob hier fr\u00fcher etwas war oder morgen etwas sein wird, bleibt offen. Ein Crawler behandelt das als vorl\u00e4ufig und kommt wieder.<\/p>\n

410 Gone<\/code> hei\u00dft: Hier war etwas, es wurde absichtlich entfernt, und es gibt keine neue Adresse. Das ist die st\u00e4rkste Art zu sagen, dass eine Seite erledigt ist, und Suchmaschinen lassen solche Adressen schneller fallen als ein 404.<\/p>\n

Tausende tote Adressen mit 410 zu beantworten, ist also die richtige Wahl. Der Fehler lag an ganz anderer Stelle.<\/p>\n

Die Regel traf die eine Datei, die es h\u00e4tte beenden k\u00f6nnen<\/h2>\n

Die Absage steckte in einer einzigen Regel: Jede Adresse unter den stillgelegten Hostnamen antwortet mit 410. Zwei Ausnahmen waren herausgeschnitten, beide bewusst und beide eng.<\/p>\n

Die robots.txt<\/code> war keine davon.<\/p>\n

Das l\u00e4sst sich leicht \u00fcbersehen: Die robots.txt enth\u00e4lt Regeln f\u00fcr Crawler, ist aber selbst keine Inhaltsseite. Eine Regel nach dem Muster \u201ehier ist alles weg\u201c erfasst trotzdem auch ihre Adresse. Deshalb antwortete sie ebenso wie alle anderen Adressen mit 410.<\/p>\n

Warum eine 4xx-Antwort keine Einschr\u00e4nkung bedeutet<\/h2>\n

Hier wird aus einem Versehen eine Einladung.<\/p>\n

Der Standard ist eindeutig, was gilt, wenn die robots.txt nicht abrufbar ist. Eine 5xx-Antwort – der Server ist kaputt – bedeutet: Die ganze Seite gilt als gesperrt, sp\u00e4ter noch einmal versuchen. Eine 4xx-Antwort bedeutet das Gegenteil: Auf diesem Host gibt es keine Regeln, alles darf geholt werden.<\/p>\n

Die \u00dcberlegung dahinter tr\u00e4gt. Eine fehlende robots.txt hie\u00df immer schon \u201ekeine Einschr\u00e4nkung”, und nichts unterscheidet \u201edieser Host hatte nie Regeln” von \u201edieser Host hat sie entfernt”. 404 und 410 landen in derselben Schublade.<\/p>\n

Die Absage kam also genau verkehrt herum an. Statt eines klaren Wegbleibens sagte sie in dem einen Satz, den ein Crawler liest, bevor er irgendetwas entscheidet, dass hier nichts gesperrt sei.<\/p>\n

\n\"Eine
\n<\/figure>\n

Ein Adressraum ohne Boden<\/h2>\n

Eine falsche Antwort wird erst teuer, wenn es etwas gibt, wof\u00fcr sie sich ausgeben l\u00e4sst.<\/p>\n

Die angefragten Adressen trugen einen Parameter, der festhielt, woher der Crawler gekommen war. Jede Seite verwies damit auf Adressen, die es vorher nie gegeben hatte, und die verwiesen weiter. Der Nachschub ging nie aus.<\/p>\n

Die Zahlen zeigen es deutlich: Von 698.400 Anfragen an einem Tag galten 696.907 verschiedenen Adressen – zwei von tausend waren Wiederholungen. Ein Crawler, der einen solchen Raum abarbeitet, macht nichts falsch; er folgt Verweisen, und das ist seine ganze Aufgabe. Fertig wird er nie.<\/p>\n

Was eine einzelne Absage wiegt<\/h2>\n

Die letzte \u00dcberraschung steckte in der Gr\u00f6\u00dfe.<\/p>\n

Die Nachricht selbst ist klein: 415 Byte schlichter Text, der mitteilt, dass die Ressource fort ist. Die Header darum kamen auf 1.949 Byte, und rund 1.700 davon waren eine Sicherheitsrichtlinie f\u00fcr Inhalte.<\/p>\n

Diese Richtlinie regelt, was eine Seite laden darf. Bei einer Absage gibt es keine Seite – nichts zu laden, nichts zu regeln, nichts, was der Header sch\u00fctzen k\u00f6nnte. Angeh\u00e4ngt war sie trotzdem an jede der 732.498 Antworten, weil sie auf \u201eimmer” gestellt war, was f\u00fcr echte Seiten genau richtig ist.<\/p>\n

Das Ergebnis: 2.364 Byte f\u00fcrs Neinsagen, und 1,65 GB an einem Tag daf\u00fcr.<\/p>\n

Was daraus folgt<\/h2>\n

Drei Dinge, nach Wirkung geordnet.<\/p>\n

Eine Regel, die einen Host verschwinden l\u00e4sst, braucht eine Ausnahme f\u00fcr die Datei, die den Host beschreibt. Die robots.txt und alles andere, was ein Crawler liest, um zu entscheiden, muss lesbar bleiben, auch wenn alles Beschriebene fort ist. Eine erreichbare robots.txt mit einem einzigen Disallow: \/<\/code> beendet den Verkehr an der Quelle, statt ihn aufzufangen.<\/p>\n

Header f\u00fcr Seiten geh\u00f6ren nicht auf Absagen. Auf die Hosts beschr\u00e4nkt, die tats\u00e4chlich Seiten ausliefern, sank jede Antwort von 2.364 auf 850 Byte – dieselbe Absage bei ungef\u00e4hr einem Drittel des Gewichts.<\/p>\n

Und ein Parameter, der neue Adressen erzeugt, macht aus jedem Durchlauf einen endlosen. Wo hinter entfernten Inhalten ein solcher Raum liegt, ist das Entfernen nicht das Ende der Arbeit.<\/p>\n

\n

Fragen und Antworten<\/h2>\n

Nimmt ein Disallow: \/ die alten Adressen auch aus dem Suchindex?<\/h3>\n

Nicht unmittelbar. Ein Disallow verbietet das Abrufen, nicht die Aufnahme in den Index. Eine gesperrte Adresse wird nicht mehr geholt, und damit sieht der Crawler auch ihr 410 nicht mehr. Adressen, die bereits bekannt sind oder von anderswo verlinkt werden, k\u00f6nnen deshalb als blo\u00dfe Adresse ohne Inhalt im Index bleiben. Ein noindex hilft hier ebenso wenig, denn auch das st\u00fcnde auf einer Seite, die nicht mehr abgerufen wird.<\/p>\n

Wer beides will, muss sich f\u00fcr eine Reihenfolge entscheiden: Zuerst m\u00fcssen die wichtigen Adressen ihr 410 ausliefern k\u00f6nnen, danach beendet die Sperre den Verkehr. Bei einem Adressraum ohne Boden wie dem im Artikel geht diese Rechnung allerdings nicht auf, denn die Absagen w\u00fcrden nie fertig. Dort ist die Sperre die bessere Wahl, auch wenn einzelne Adressen noch eine Weile im Index stehen.<\/p>\n

Warum nicht die robots.txt mit 503 beantworten, damit die ganze Seite als gesperrt gilt?<\/h3>\n

Weil diese Sperre nur auf Zeit gilt. RFC 9309 behandelt einen Serverfehler bei der robots.txt zun\u00e4chst als vollst\u00e4ndiges Verbot, erlaubt einem Crawler aber, nach l\u00e4ngerer Zeit ohne erreichbare Datei (der Standard nennt 30 Tage als Beispiel) so zu verfahren, als g\u00e4be es keine robots.txt, oder eine zwischengespeicherte Fassung weiterzuverwenden. Im ersten Fall st\u00fcnde der Host wieder ohne Regeln da, genau wie mit dem 410. Eine erreichbare Datei mit Disallow: \/ ist die Form, die dauerhaft gilt.<\/p>\n

Wie schnell wirkt eine korrigierte robots.txt?<\/h3>\n

Mit bis zu einem Tag Verz\u00f6gerung. RFC 9309 sieht vor, dass ein Crawler eine zwischengespeicherte robots.txt nicht l\u00e4nger als 24 Stunden verwenden soll; bis dahin kann er noch nach der alten Antwort arbeiten, hier also so, als g\u00e4be es keine Regeln. Ob die Korrektur greift, zeigt sich deshalb erst im Verkehr des folgenden Tages, nicht in der ersten Stunde.<\/p>\n<\/div>\n

\n

Quellen<\/h2>\n