{"id":15607,"date":"2026-10-30T13:15:00","date_gmt":"2026-10-30T12:15:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/blog\/?p=15607"},"modified":"2026-10-26T13:13:14","modified_gmt":"2026-10-26T12:13:14","slug":"crawler-adressen-prufen-ruckwartsauflosung-veroffentlichte-bereiche-und-wo-beide-enden","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/tutorials-de-digital-marketing-de\/crawler-adressen-prufen-ruckwartsauflosung-veroffentlichte-bereiche-und-wo-beide-enden\/","title":{"rendered":"Crawler-Adressen pr\u00fcfen: R\u00fcckw\u00e4rtsaufl\u00f6sung, ver\u00f6ffentlichte Bereiche und wo beide enden"},"content":{"rendered":"

Der User-Agent ist eine vom Client gesendete Kennzeichnung des Browsers oder automatisierten Programms. Ein User-Agent wie Googlebot<\/code> ist zun\u00e4chst eine Behauptung des Clients. Auch der angeforderte Pfad stammt aus der Anfrage. Verl\u00e4sslicher ist die vom Server ermittelte Verbindungsadresse \u2013 sofern ein vorgeschalteter Proxy korrekt ber\u00fccksichtigt wurde. Erst danach l\u00e4sst sich pr\u00fcfen, ob die Adresse zur dokumentierten Infrastruktur des genannten Dienstes passt.<\/p>\n

Zwei \u00fcbliche Nachweise sind ein dokumentiertes DNS-Namensmuster mit Vorw\u00e4rtsbest\u00e4tigung und der Abgleich mit offiziellen IP-Bereichen. Ein Registereintrag wie \u201eGoogle LLC\u201c oder \u201eMicrosoft Corporation\u201c erg\u00e4nzt die Einordnung, best\u00e4tigt aber keinen bestimmten Crawler.<\/p>\n

\"Crawler
Ein Bereichstreffer best\u00e4tigt die ver\u00f6ffentlichte Infrastrukturkategorie. Historische Beispiele sind keine aktuelle Freigabeliste.<\/figcaption><\/figure>\n

DNS-Pr\u00fcfung: Name, Grenze und Gegenprobe<\/h2>\n

Die R\u00fcckw\u00e4rtsaufl\u00f6sung liefert zu einer IP-Adresse einen PTR-Namen. Ein solcher Name allein gen\u00fcgt nicht: Die Verwaltung des Adressbereichs kann einen PTR setzen, ohne die darin genannte Domain zu kontrollieren. Zur Pr\u00fcfung geh\u00f6ren deshalb drei Schritte:<\/p>\n

  1. PTR zur tats\u00e4chlichen Quelladresse abfragen.<\/li>
  2. Den Namen mit dem aktuell dokumentierten Muster der passenden Crawler-Kategorie vergleichen. Bei Google sind gew\u00f6hnliche Crawler, Sondercrawler und nutzerinitiierte Abrufe zu unterscheiden.<\/li>
  3. Den akzeptierten Namen vorw\u00e4rts per A beziehungsweise AAAA aufl\u00f6sen. Die urspr\u00fcngliche Adresse muss in der Antwort enthalten sein.<\/li><\/ol>\n

    Die Domain-Grenze ist wichtig: crawl.example.googlebot.com<\/code> liegt unter googlebot.com<\/code>, googlebot.com.example.org<\/code> dagegen nicht. Ein beliebiger passender DNS-Rundlauf beweist lediglich die Verbindung zwischen Adresse und Name, nicht die Zugeh\u00f6rigkeit zu Googlebot. Auch google.com<\/code> allein reicht f\u00fcr diese konkrete Zuordnung nicht aus.<\/p>\n

    Dieses Verfahren ben\u00f6tigt keine heruntergeladene Bereichsliste. Pflegefrei ist die Pr\u00fcfung trotzdem nicht: Namensmuster k\u00f6nnen sich \u00e4ndern, DNS-Antworten altern, und Aufl\u00f6sungsfehler m\u00fcssen von negativen Antworten getrennt bleiben.<\/p>\n

    Bereichslisten: die richtige Kategorie z\u00e4hlt<\/h2>\n

    Offizielle JSON-Dateien enthalten IPv4- und teilweise IPv6-Pr\u00e4fixe im CIDR-Format, beispielsweise 66.249.66.0\/27<\/code>. Die Pr\u00fcfung testet, ob eine Adresse innerhalb eines solchen Netzes liegt. Ein einfacher Textvergleich gen\u00fcgt nicht.<\/p>\n

    Google verlinkt inzwischen common-crawlers.json<\/code> f\u00fcr gew\u00f6hnliche Crawler, eine eigene Liste f\u00fcr Sondercrawler sowie mehrere Listen f\u00fcr nutzerinitiierte Abrufe und Agenten. Ein Treffer best\u00e4tigt zun\u00e4chst die ver\u00f6ffentlichte Infrastrukturkategorie. Eine gemeinsam genutzte Liste unterscheidet nicht zwangsl\u00e4ufig jeden einzelnen User-Agent.<\/p>\n

    OpenAI ver\u00f6ffentlicht getrennte Listen f\u00fcr GPTBot, OAI-SearchBot und ChatGPT-User. Die Aufgaben unterscheiden sich: Modelltraining, Suche und bestimmte Nutzeraktionen. Ein fehlender PTR ist deshalb nicht automatisch verd\u00e4chtig; f\u00fcr Dienste ohne dokumentiertes DNS-Pr\u00fcfverfahren ist die passende offizielle Liste entscheidend.<\/p>\n

    Was die historische Stichprobe belegt<\/h2>\n

    Der gespeicherte Datensatz vom 5. September 2026<\/strong> enth\u00e4lt zw\u00f6lf abgefragte Listen mit zusammen 2560 Pr\u00e4fixeintr\u00e4gen; 2143 entfielen auf vier damalige Google-Listen. Diese Summen wurden bei der \u00dcberarbeitung aus den gespeicherten Z\u00e4hlwerten erneut berechnet. Pr\u00e4fixeintr\u00e4ge sind weder eindeutige IP-Adressen noch zwingend \u00fcberschneidungsfreie Netze. Aus der Anzahl folgen keine zuverl\u00e4ssigen Aussagen \u00fcber Verkehrsmenge, Architektur oder \u00c4nderungsh\u00e4ufigkeit.<\/p>\n

    F\u00fcr 20.171.207.1<\/code> und 52.230.152.1<\/code> dokumentiert die damalige Ausgabe GPTBot-Bereichstreffer ohne ermittelten PTR. Das gespeicherte Feld unterscheidet jedoch nicht zwischen tats\u00e4chlich fehlendem PTR und einem Aufl\u00f6sungsfehler. Der Microsoft-Registereintrag best\u00e4tigt au\u00dferdem keinen konkreten Cloud-Mietvertrag. Alle Adressbefunde bleiben historische Beobachtungen, keine aktuelle Freigabeliste.<\/p>\n

    8.8.8.8<\/code> verdeutlicht den Unterschied zwischen Organisation und Funktion: Google dokumentiert diese Adresse als \u00f6ffentlichen DNS-Resolver. Ein passender DNS-Rundlauf und ein Google-Registereintrag machen daraus keinen Googlebot. Die Auswahl \u201eGooglebot\u201c im damaligen Pr\u00fcflauf war eine Testbehauptung, kein Nachweis einer echten HTTP-Anfrage von diesem Resolver.<\/p>\n

    64.233.173.1<\/code> stand damals in der Liste nutzerinitiierter Google-Abrufe und hatte einen passenden google-proxy<\/code>-Namen. Daraus l\u00e4sst sich weder eine konkrete Besucheraktion noch automatisch Googlebot ableiten. Genau hier war die Werkzeugauswertung zu gro\u00dfz\u00fcgig.<\/p>\n

    Identit\u00e4t und Zugriffsregeln getrennt entscheiden<\/h2>\n

    robots.txt<\/code> steuert kooperative Crawler und bleibt daf\u00fcr sinnvoll. Die Datei ist keine Zugriffssperre. Ein best\u00e4tigter Betreiber bedeutet auch nicht, dass jeder Dienst dieselben robots.txt-Regeln beachtet: Google unterscheidet gew\u00f6hnliche Crawler, Sonderf\u00e4lle und nutzerinitiierte Abrufe. Googlebot unterst\u00fctzt crawl-delay<\/code> nicht; das unterscheidet daher keinen Googlebot von einem nutzerinitiierten Abruf.<\/p>\n

    Ein unbekannter oder widerspr\u00fcchlicher Nachweis ist nicht gleichbedeutend mit b\u00f6sartigem Verhalten. F\u00fcr unerw\u00fcnschte Zugriffe kommen je nach Zweck Authentifizierung, Ratenbegrenzung oder Regeln am Webserver beziehungsweise an der vorgeschalteten Schutzschicht infrage. Eine IP-Sperre ist eine M\u00f6glichkeit, aber kein vollst\u00e4ndiges Schutzkonzept. Ein allgemeines gemeinsames Crawl-Budget f\u00fcr alle Betreiber gibt es nicht.<\/p>\n

    Manuelle Pr\u00fcfung als nachvollziehbare Gegenprobe<\/h2>\n

    Das Beispiel zeigt eine in Googles Dokumentation verwendete IPv4-Adresse. Der PTR-Name muss aus der tats\u00e4chlichen Antwort stammen; erst nach Pr\u00fcfung der Kategorie und Namensgrenze folgt die Vorw\u00e4rtsaufl\u00f6sung. Die JSON-Datei herunterzuladen ist noch kein CIDR-Abgleich.<\/p>\n

    Shell<\/span>