{"id":15609,"date":"2026-10-30T18:55:00","date_gmt":"2026-10-30T17:55:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/blog\/?p=15609"},"modified":"2026-10-26T13:13:14","modified_gmt":"2026-10-26T12:13:14","slug":"weryfikacja-adresow-crawlerow-odwrotne-dns-opublikowane-zakresy-i-granice-obu-metod","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/pl\/digital-marketing-pl\/tutorials-pl-digital-marketing-pl\/weryfikacja-adresow-crawlerow-odwrotne-dns-opublikowane-zakresy-i-granice-obu-metod\/","title":{"rendered":"Weryfikacja adres\u00f3w crawler\u00f3w: odwrotne DNS, opublikowane zakresy i granice obu metod"},"content":{"rendered":"

User-Agent to przes\u0142ana przez klienta etykieta z nazw\u0105 przegl\u0105darki lub automatycznego programu. User-Agent taki jak Googlebot<\/code> jest pocz\u0105tkowo deklaracj\u0105 klienta. \u017b\u0105dana \u015bcie\u017cka r\u00f3wnie\u017c pochodzi z \u017c\u0105dania. Mocniejsz\u0105 podstaw\u0119 stanowi adres po\u0142\u0105czenia ustalony przez serwer, pod warunkiem poprawnego uwzgl\u0119dnienia po\u015brednicz\u0105cego proxy. Dopiero wtedy mo\u017cna por\u00f3wna\u0107 adres z udokumentowan\u0105 infrastruktur\u0105 wskazanej us\u0142ugi.<\/p>\n

Dwie typowe metody to udokumentowany wzorzec nazwy DNS z potwierdzeniem wprz\u00f3d oraz dopasowanie do oficjalnych zakres\u00f3w IP. Wpis rejestrowy \u201eGoogle LLC\u201d lub \u201eMicrosoft Corporation\u201d uzupe\u0142nia kontekst, lecz nie identyfikuje konkretnego crawlera.<\/p>\n

\"Weryfikacja
Dopasowanie zakresu potwierdza opublikowan\u0105 kategori\u0119 infrastruktury. Historyczne przyk\u0142ady nie s\u0105 aktualn\u0105 list\u0105 dozwolonych adres\u00f3w.<\/figcaption><\/figure>\n

Weryfikacja DNS: nazwa, granica i kontrola wprz\u00f3d<\/h2>\n

Odwrotne zapytanie zwraca nazw\u0119 PTR dla adresu IP. Sama nazwa nie wystarcza: administrator bloku adresowego mo\u017ce ustawi\u0107 PTR bez kontroli nad domen\u0105 wymienion\u0105 w rekordzie. Weryfikacja wymaga zatem trzech krok\u00f3w:<\/p>\n

  1. Odczyt PTR rzeczywistego adresu \u017ar\u00f3d\u0142owego.<\/li>
  2. Por\u00f3wnanie nazwy z aktualnie udokumentowanym wzorcem odpowiedniej kategorii crawlera. Zwyk\u0142e crawlery Google, crawlery specjalne i pobrania inicjowane przez u\u017cytkownik\u00f3w stanowi\u0105 odr\u0119bne kategorie.<\/li>
  3. Rozwi\u0105zanie zaakceptowanej nazwy przez rekordy A lub AAAA. Odpowied\u017a musi zawiera\u0107 pierwotny adres.<\/li><\/ol>\n

    Granica domeny ma znaczenie: crawl.example.googlebot.com<\/code> znajduje si\u0119 pod googlebot.com<\/code>, natomiast googlebot.com.example.org<\/code> nie. Dowolny poprawny obieg DNS potwierdza relacj\u0119 adresu z nazw\u0105, a nie to\u017csamo\u015b\u0107 Googlebota. Sama ko\u0144c\u00f3wka google.com<\/code> r\u00f3wnie\u017c nie wystarcza do tak konkretnej klasyfikacji.<\/p>\n

    Metoda nie wymaga pobranej listy zakres\u00f3w, ale nadal wymaga utrzymania. Wzorce nazw mog\u0105 si\u0119 zmienia\u0107, odpowiedzi DNS wygasaj\u0105, a b\u0142\u0119dy rozwi\u0105zywania nale\u017cy odr\u00f3\u017cnia\u0107 od odpowiedzi negatywnych.<\/p>\n

    Listy zakres\u00f3w: w\u0142a\u015bciwa kategoria<\/h2>\n

    Oficjalne pliki JSON zawieraj\u0105 prefiksy IPv4, a dla cz\u0119\u015bci us\u0142ug tak\u017ce IPv6, w notacji CIDR, na przyk\u0142ad 66.249.66.0\/27<\/code>. Kontrola sprawdza przynale\u017cno\u015b\u0107 adresu do sieci. Proste por\u00f3wnanie tekstu nie wystarcza.<\/p>\n

    Google wskazuje obecnie common-crawlers.json<\/code> dla zwyk\u0142ych crawler\u00f3w, osobn\u0105 list\u0119 crawler\u00f3w specjalnych oraz kilka list pobra\u0144 i agent\u00f3w inicjowanych przez u\u017cytkownik\u00f3w. Dopasowanie potwierdza przede wszystkim przynale\u017cno\u015b\u0107 do opublikowanej kategorii infrastruktury. Wsp\u00f3lna lista nie musi rozr\u00f3\u017cnia\u0107 ka\u017cdego konkretnego identyfikatora User-Agent.<\/p>\n

    OpenAI publikuje osobne listy dla GPTBot, OAI-SearchBot i ChatGPT-User. Zadania obejmuj\u0105 odpowiednio trening modeli, wyszukiwanie i okre\u015blone dzia\u0142ania u\u017cytkownik\u00f3w. Brak PTR nie jest wi\u0119c automatycznie podejrzany. Dla us\u0142ug bez udokumentowanej metody weryfikacji DNS istotnym dowodem pozostaje odpowiednia oficjalna lista.<\/p>\n

    Co potwierdza historyczna pr\u00f3bka<\/h2>\n

    Zapisany zestaw danych z 5 wrze\u015bnia 2026 r.<\/strong> obejmuje dwana\u015bcie odczytanych list z 2560 wpisami prefiks\u00f3w; 2143 przypada\u0142y na cztery \u00f3wczesne listy Google. Podczas aktualizacji sumy ponownie obliczono z zachowanych licznik\u00f3w. Wpisy prefiks\u00f3w nie oznaczaj\u0105 unikalnych adres\u00f3w IP ani koniecznie roz\u0142\u0105cznych sieci. Liczba wpis\u00f3w nie pozwala wiarygodnie okre\u015bli\u0107 wielko\u015bci ruchu, architektury ani cz\u0119stotliwo\u015bci zmian.<\/p>\n

    Dla 20.171.207.1<\/code> i 52.230.152.1<\/code> historyczny wynik zawiera dopasowania do zakres\u00f3w GPTBot bez ustalonego PTR. Zapisane pole nie odr\u00f3\u017cnia jednak braku PTR od b\u0142\u0119du rozwi\u0105zywania. Wpis Microsoft w rejestrze r\u00f3wnie\u017c nie dowodzi konkretnej umowy najmu us\u0142ug chmurowych. Wszystkie ustalenia adresowe pozostaj\u0105 obserwacjami historycznymi, a nie aktualn\u0105 list\u0105 dozwolonych adres\u00f3w.<\/p>\n

    8.8.8.8<\/code> pokazuje r\u00f3\u017cnic\u0119 mi\u0119dzy organizacj\u0105 a funkcj\u0105: Google dokumentuje ten adres jako publiczny resolver DNS. Poprawny obieg DNS i wpis Google w rejestrze nie oznaczaj\u0105 Googlebota. Wskazanie \u201eGooglebot\u201d by\u0142o deklaracj\u0105 wybran\u0105 do testu, a nie dowodem rzeczywistego \u017c\u0105dania HTTP z tego resolvera.<\/p>\n

    64.233.173.1<\/code> znajdowa\u0142 si\u0119 w historycznej li\u015bcie pobra\u0144 Google inicjowanych przez u\u017cytkownik\u00f3w i mia\u0142 odpowiedni\u0105 nazw\u0119 google-proxy<\/code>. Nie wynika z tego ani konkretna czynno\u015b\u0107 odwiedzaj\u0105cego, ani automatyczne potwierdzenie Googlebota. W\u0142a\u015bnie w tym miejscu klasyfikacja narz\u0119dzia by\u0142a zbyt szeroka.<\/p>\n

    To\u017csamo\u015b\u0107 i zasady dost\u0119pu to osobne decyzje<\/h2>\n

    robots.txt<\/code> steruje wsp\u00f3\u0142pracuj\u0105cymi crawlerami i pozostaje przydatny do tego celu. Plik nie stanowi blokady dost\u0119pu. Potwierdzony operator nie oznacza te\u017c jednakowych zasad robots.txt dla wszystkich us\u0142ug: Google rozr\u00f3\u017cnia zwyk\u0142e crawlery, przypadki szczeg\u00f3lne i pobrania inicjowane przez u\u017cytkownik\u00f3w. Googlebot nie obs\u0142uguje crawl-delay<\/code>, wi\u0119c ta dyrektywa nie odr\u00f3\u017cnia Googlebota od pobrania na \u017c\u0105danie u\u017cytkownika.<\/p>\n

    Brak potwierdzenia lub sprzeczne dowody nie oznaczaj\u0105 automatycznie z\u0142o\u015bliwego dzia\u0142ania. Zale\u017cnie od celu niepo\u017c\u0105dane \u017c\u0105dania mog\u0105 wymaga\u0107 uwierzytelniania, limit\u00f3w cz\u0119stotliwo\u015bci albo regu\u0142 na serwerze WWW lub poprzedzaj\u0105cej warstwie ochronnej. Blokada IP jest jedn\u0105 z mo\u017cliwo\u015bci, a nie kompletn\u0105 ochron\u0105. Nie istnieje uniwersalny wsp\u00f3lny bud\u017cet crawlowania dla wszystkich operator\u00f3w.<\/p>\n

    Powtarzalna kontrola r\u0119czna<\/h2>\n

    Przyk\u0142ad wykorzystuje adres IPv4 z dokumentacji Google. Nazwa PTR musi pochodzi\u0107 z rzeczywistej odpowiedzi; sprawdzenie kategorii i granicy domeny poprzedza rozwi\u0105zanie wprz\u00f3d. Samo pobranie pliku JSON nie wykonuje dopasowania CIDR.<\/p>\n

    Shell<\/span>