![\"Passende](\"https:\/\/www.lukaswojcik.com\/blog\/wp-content\/uploads\/diagrams\/robotsmatrix-reviewed-de-20261025.png\")
Die passenden Regeln ausw\u00e4hlen<\/h2>\n
RFC 9309 vergleicht die Produktkennung des Crawlers ohne Beachtung der Gro\u00df-\/Kleinschreibung und verlangt das Zusammenf\u00fchren mehrerer passender Gruppen. Google beschreibt zus\u00e4tzlich die Auswahl der spezifischsten passenden User-Agent-Kennung; wiederholte Gruppen dieser Kennung werden vereint. Eine spezifische Gruppe wird nicht mit der R\u00fcckfallgruppe Innerhalb der passenden Regeln gewinnt die spezifischste passende Pfadregel. Der Vergleich beginnt am Pfadanfang und vergleicht Bytes, auch Oktette genannt, statt nur sichtbare Zeichen zu z\u00e4hlen. Prozentkodierte Schreibweisen wie %62 f\u00fcr den Buchstaben b m\u00fcssen vor dem Vergleich nach den Protokollregeln vereinheitlicht werden. Bei gleichwertigem Allow und Disallow wird Allow bevorzugt. Pfade werden normalerweise unter Beachtung der Gro\u00df-\/Kleinschreibung verglichen. Ein leeres Die zweite ExampleBot-Gruppe erg\u00e4nzt die Ausnahme. Ein Parser, der nur die erste Gruppe \u00fcbernimmt, liefert das falsche Ergebnis. Leerzeilen oder Kommentare zwischen aufeinanderfolgenden User-Agent-Angaben d\u00fcrfen die nachfolgenden Regeln nicht versehentlich abtrennen.<\/p>\n Das Archiv enth\u00e4lt achtzehn Antworten mit HTTP 200, eine 410 von heise.de und eine 418 von stackoverflow.com. Bei sechzehn Ausgangsadressen gab es Weiterleitungen. Der zus\u00e4tzliche Abruf von www.heise.de ergab 200; der Abruf von www.stackoverflow.com ergab ebenfalls 418. F\u00fcr Stack Overflow wurden 113 Byte aufgezeichnet, kein leerer Inhalt. Daraus folgt weder die Absicht des Betreibers noch ein nachgewiesener Fehler der Weiterleitungskonfiguration.<\/p>\n Die alte Matrix kennzeichnete alle acht Pr\u00fcfpfade f\u00fcr GPTBot und CCBot auf sechs Domains als gesperrt, f\u00fcr ClaudeBot auf f\u00fcnf und f\u00fcr Google-Extended, PerplexityBot sowie Applebot-Extended auf jeweils vier. Diese Zahlen beschreiben die gespeicherte Werkzeugausgabe. Acht Pfade belegen keine Sperre jeder URL einer Website. Die unten genannten Parserfehler verhindern au\u00dferdem eine unabh\u00e4ngige Best\u00e4tigung der damaligen Anbieterregeln aus dieser Klassifikation.<\/p>\n Vierzehn Domains hatten bei keiner der sechs Kennungen ein solches Acht-von-acht-Ergebnis. Zw\u00f6lf hatten bei keiner Kennung einen gesperrten Pr\u00fcfpfad. Das sind verschiedene Zahlen: google.com und microsoft.com enthielten in der alten Ausgabe Teilsperren. Das urspr\u00fcngliche Diagramm vermischte diese Kategorien.<\/p>\n Die Zusammenfassung meldet bis zu 105 Gruppen bei den Hauptpr\u00fcfungen und 28.275 Byte f\u00fcr die gr\u00f6\u00dfte Datei. Gruppenzahlen h\u00e4ngen vom Parser ab. Die ausgegebene Sitemap-Liste war auf zwanzig Eintr\u00e4ge begrenzt; ein gespeicherter Wert von zwanzig beweist deshalb nicht genau zwanzig Deklarationen. Auch eine Byte-Order-Mark verr\u00e4t nicht den verwendeten Editor.<\/p>\n Nach erfolgreichem Abruf gelten die auswertbaren Regeln. RFC 9309 erlaubt Crawling bei einer nicht verf\u00fcgbaren robots.txt, beispielsweise nach einer 4xx-Antwort. Das ist eine Protokollerlaubnis, kein Beweis f\u00fcr eine physisch nicht vorhandene Datei. Netz- und Serverfehler verlangen dagegen die Annahme einer vollst\u00e4ndigen Sperre; zus\u00e4tzlich gelten Regeln f\u00fcr Caching und l\u00e4ngere Ausf\u00e4lle. Drei\u00dfig Tage sind im Standard ein Beispiel f\u00fcr einen l\u00e4ngeren Zeitraum, kein universeller Timer.<\/p>\n Google beschreibt einen eigenen Ablauf: Serverfehler stoppen das Crawling zun\u00e4chst zw\u00f6lf Stunden; danach h\u00e4ngt das Verhalten von der letzten g\u00fcltigen Cache-Fassung und der allgemeinen Erreichbarkeit der Website ab. Google behandelt 429 anders als sonstige 4xx-Antworten. Ein einzelner Statuscode bestimmt das Verhalten deshalb nicht unabh\u00e4ngig von Zeit, Cache und Implementierung.<\/p>\n Host, Schema und Port bestimmen den Geltungsbereich. Eine Weiterleitung der robots.txt kann zu einem anderen Host f\u00fchren; die dort gelesenen Regeln gelten trotzdem f\u00fcr die urspr\u00fcngliche Adresse. Eine Firewall sollte legitimen Crawlern die vorgesehene robots.txt-Antwort zug\u00e4nglich machen. Authentifizierung oder andere Zugriffskontrollen ersetzt diese Datei nicht.<\/p>\n <\/p>\n GPTBot und ClaudeBot betreffen die Sammlung ihrer Anbieter f\u00fcr die Modellentwicklung. CCBot erstellt das offene Webarchiv von Common Crawl. PerplexityBot dient laut Anbieter der Auffindbarkeit in der Suche, nicht dem Training von Basismodellen. Separate Suchbots oder nutzergesteuerte Abrufe k\u00f6nnen anderen Regeln folgen.<\/p>\n Google-Extended hat keinen eigenen HTTP-User-Agent. Die Steuerkennung betrifft bestimmte Gemini-Trainings- und Grounding-Nutzungen, ohne Aufnahme oder Rangfolge in Google Search zu ver\u00e4ndern. Applebot-Extended crawlt ebenfalls nicht selbst, sondern steuert die Nutzung von Applebot-Daten f\u00fcr das Training von Basismodellen. Keine der beiden Kennungen kontrolliert pauschal jede KI-Funktion oder jede Anfrage.<\/p>\n Die robots.txt-Crawlermatrix<\/a> zeigt bis zu acht Kennungen gegen zw\u00f6lf Pfade und nennt eine gewinnende Zeile. Die gepr\u00fcfte Implementierung ber\u00fccksichtigt jedoch nur eine passende Gruppe, behandelt manche Gruppengrenzen mit Leerzeilen falsch, normalisiert Prozentkodierungen nicht ausreichend und kann nach Netzfehlern erlaubte Matrixzellen anzeigen. Die pauschale 4xx-Behandlung bildet auch Googles Umgang mit 429 nicht ab. Das sind konkrete Einschr\u00e4nkungen, keine vom RFC offengelassenen Unterschiede.<\/p>\n Die historischen Zusammenfassungen enthalten die vollst\u00e4ndigen Regeldateien nicht. Eine korrigierte damalige Auswertung l\u00e4sst sich allein daraus nicht rekonstruieren. F\u00fcr aktuelle Pr\u00fcfungen werden tats\u00e4chliche Datei, Status, Weiterleitungskette, passende Produktkennungen und repr\u00e4sentative Pfade ben\u00f6tigt, abgeglichen mit der Dokumentation des jeweiligen Crawlers.<\/p>\n Nicht zuverl\u00e4ssig. Crawling und Indexierung sind getrennte Vorg\u00e4nge. Google muss eine Seite abrufen k\u00f6nnen, um ein noindex-Meta-Element oder X-Robots-Tag zu lesen. Private Inhalte ben\u00f6tigen Zugriffskontrollen statt einer blo\u00dfen Crawling-Anweisung.<\/p>\n Nicht zwingend. Google versucht, g\u00fcltige Regeln zu extrahieren, und ignoriert andere Zeilen. Status, Inhaltstyp und Inhalt ben\u00f6tigen daher eine Pr\u00fcfung. Eine HTML-H\u00fclle ersetzt keine g\u00fcltige UTF-8-Textdatei.<\/p>\n Nein. Das Feld liegt au\u00dferhalb des Kernprotokolls; die Unterst\u00fctzung unterscheidet sich. Google unterst\u00fctzt das Feld nicht, Anthropic dokumentiert Unterst\u00fctzung. Grenzen und Steuerungsm\u00f6glichkeiten sind f\u00fcr den jeweiligen Anbieter zu pr\u00fcfen.<\/p>\n Nicht zwingend. Gespeicherte robots.txt-Fassungen und die Verarbeitung beim Anbieter verursachen Verz\u00f6gerungen. Der RFC r\u00e4t grunds\u00e4tzlich von einer Cache-Nutzung \u00fcber vierundzwanzig Stunden hinaus ab, sofern die Datei nicht unerreichbar ist. Ein Parsertest beweist keinen bereits erfolgten Abruf der neuen Fassung durch einen Crawler.<\/p>\n<\/div>\n Die Auswertung einer robots.txt verbindet passende Gruppen, Pfadregeln und den Abrufstatus. Eine historische Stichprobe aus zwanzig Domains erkl\u00e4rt das Verfahren und die Grenzen einer Matrix aus nur acht Pr\u00fcfpfaden.<\/p>\n","protected":false},"author":1,"featured_media":29616,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[156],"tags":[92289,92235,92071],"class_list":["post-15755","post","type-post","status-publish","format-standard","hentry","category-tutorials-de-web-entwicklung","tag-seo-de","tag-tutorial-de","tag-web-security-de"],"yoast_head":"\n*<\/code> kombiniert. Ein blo\u00dfer Vergleich des l\u00e4ngsten Pr\u00e4fixes einer beliebigen HTTP-User-Agent-Zeichenfolge beschreibt den Standard nicht vollst\u00e4ndig.<\/p>\n*<\/code> steht f\u00fcr null oder mehr Zeichen, $<\/code> f\u00fcr das Ende.<\/p>\nDisallow:<\/code> wird ignoriert. Eine andere Sperre innerhalb der passenden Regeln bleibt bestehen. Das folgende isolierte Beispiel erlaubt \/private\/help.html<\/code>, sperrt aber andere mit \/private\/<\/code> beginnende Pfade, darunter \/private\/report.html<\/code>:<\/p>\nUser-agent: ExampleBot\nDisallow: \/private\/\nDisallow:\n\nUser-agent: ExampleBot\nAllow: \/private\/help.html$\n<\/code><\/pre>\nWas der historische Lauf tats\u00e4chlich zeigt<\/h2>\n
Zuerst den Abrufstatus einordnen<\/h2>\n
![\"Enten](\"https:\/\/www.lukaswojcik.com\/blog\/wp-content\/uploads\/illustrationen\/flux-15753-a3.webp\")
Sechs Kennungen sind keine sechs Trainingscrawler<\/h2>\n
Grenzen der verlinkten Matrix<\/h2>\n
Fragen und Antworten<\/h2>\n
Entfernt Disallow eine Adresse aus der Suche?<\/h3>\n
Bedeutet eine HTML-Fehlerseite mit 200, dass keine Regeln gelten?<\/h3>\n
Ist Crawl-delay universell wirksam?<\/h3>\n
Gelten \u00c4nderungen sofort?<\/h3>\n
Quellen<\/h2>\n
\n