{"id":15757,"date":"2026-11-10T18:55:00","date_gmt":"2026-11-10T17:55:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/blog\/?p=15757"},"modified":"2026-10-26T13:16:06","modified_gmt":"2026-10-26T12:16:06","slug":"robots-txt-wybor-regul-i-interpretacja-proby-dwudziestu-domen","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/pl\/tworzenie-stron-internetowych\/tutorials-pl-tworzenie-stron-internetowych\/robots-txt-wybor-regul-i-interpretacja-proby-dwudziestu-domen\/","title":{"rendered":"robots.txt: wyb\u00f3r regu\u0142 i interpretacja pr\u00f3by dwudziestu domen"},"content":{"rendered":"

robots.txt przekazuje instrukcje wsp\u00f3\u0142pracuj\u0105cym crawlerom, czyli programom automatycznie pobieraj\u0105cym strony. Ocena wymaga rozdzielenia trzech kwestii: wyniku pobrania pliku, pasuj\u0105cych grup crawlera i najbardziej szczeg\u00f3\u0142owej regu\u0142y \u015bcie\u017cki. Pierwsza pasuj\u0105ca linia nie wygrywa automatycznie, a powt\u00f3rzonych pasuj\u0105cych grup nie wolno po prostu pomin\u0105\u0107.<\/p>\n

Historyczny test z 6 wrze\u015bnia 2026 r. obejmowa\u0142 dwadzie\u015bcia domen, osiem identyfikator\u00f3w i osiem \u015bcie\u017cek. Ponowna analiza archiwum i analizatora ujawnia wa\u017cne ograniczenia: zapisana macierz jest dawnym wynikiem narz\u0119dzia, a nie dowodem rzeczywistego zachowania crawler\u00f3w lub blokady ca\u0142ej witryny.<\/p>\n

\"Pasuj\u0105ce
Pasuj\u0105ce grupy wymagaj\u0105 po\u0142\u0105czenia; historyczne odpowiedzi HTTP i osiem \u015bcie\u017cek wymagaj\u0105 ostro\u017cnej interpretacji.<\/figcaption><\/figure>\n

Wyb\u00f3r odpowiednich regu\u0142<\/h2>\n

RFC 9309 por\u00f3wnuje token produktu crawlera bez rozr\u00f3\u017cniania wielko\u015bci liter i wymaga po\u0142\u0105czenia wielu pasuj\u0105cych grup. Google dodatkowo opisuje wyb\u00f3r najbardziej szczeg\u00f3\u0142owego pasuj\u0105cego identyfikatora; powt\u00f3rzone grupy dla tego identyfikatora zostaj\u0105 scalone. Grupa szczeg\u00f3\u0142owa nie jest \u0142\u0105czona z grup\u0105 zast\u0119pcz\u0105 *<\/code>. Sam najd\u0142u\u017cszy prefiks dowolnego nag\u0142\u00f3wka HTTP User-Agent nie opisuje ca\u0142ego standardu.<\/p>\n

W\u015br\u00f3d odpowiednich regu\u0142 wygrywa najbardziej szczeg\u00f3\u0142owa pasuj\u0105ca \u015bcie\u017cka. Por\u00f3wnanie zaczyna si\u0119 od pocz\u0105tku \u015bcie\u017cki i por\u00f3wnuje bajty, zwane oktetami, zamiast jedynie liczy\u0107 widoczne znaki. Zapisy procentowe, takie jak %62 oznaczaj\u0105ce liter\u0119 b, wymagaj\u0105 przed por\u00f3wnaniem ujednolicenia zgodnie z regu\u0142ami protoko\u0142u. Przy r\u00f3wnowa\u017cnych Allow i Disallow preferowane jest Allow. \u015acie\u017cki s\u0105 normalnie por\u00f3wnywane z uwzgl\u0119dnieniem wielko\u015bci liter. *<\/code> oznacza zero lub wi\u0119cej znak\u00f3w, a $<\/code> koniec.<\/p>\n

Puste Disallow:<\/code> jest ignorowane. Nie usuwa innego zakazu z odpowiednich regu\u0142. Poni\u017cszy samodzielny przyk\u0142ad dopuszcza \/private\/help.html<\/code>, ale blokuje inne \u015bcie\u017cki zaczynaj\u0105ce si\u0119 od \/private\/<\/code>, w tym \/private\/report.html<\/code>:<\/p>\n

User-agent: ExampleBot\nDisallow: \/private\/\nDisallow:\n\nUser-agent: ExampleBot\nAllow: \/private\/help.html$\n<\/code><\/pre>\n
Druga grupa ExampleBot wnosi wyj\u0105tek. Parser zachowuj\u0105cy tylko pierwsz\u0105 grup\u0119 daje b\u0142\u0119dny wynik. Puste linie lub komentarze mi\u0119dzy kolejnymi deklaracjami user-agent nie mog\u0105 przypadkowo od\u0142\u0105cza\u0107 p\u00f3\u017aniejszych regu\u0142.<\/p>\n
Co rzeczywi\u015bcie pokazuje historyczny przebieg<\/h2>\n
Archiwum zawiera osiemna\u015bcie odpowiedzi HTTP 200, jedn\u0105 410 z heise.de i jedn\u0105 418 ze stackoverflow.com. Szesna\u015bcie adres\u00f3w pocz\u0105tkowych mia\u0142o przekierowania. Dodatkowy test www.heise.de zwr\u00f3ci\u0142 200; test www.stackoverflow.com r\u00f3wnie\u017c zwr\u00f3ci\u0142 418. Dla Stack Overflow zapisano 113 bajt\u00f3w, a nie pust\u0105 tre\u015b\u0107. Nie ustala to intencji operatora ani nie dowodzi b\u0142\u0119du konfiguracji przekierowa\u0144.<\/p>\n
Dawna macierz oznaczy\u0142a wszystkie osiem \u015bcie\u017cek testowych jako zabronione dla GPTBot i CCBot w sze\u015bciu domenach, ClaudeBot w pi\u0119ciu oraz Google-Extended, PerplexityBot i Applebot-Extended po cztery. Liczby opisuj\u0105 zapisany wynik narz\u0119dzia. Osiem \u015bcie\u017cek nie dowodzi blokady ka\u017cdego URL-a witryny, a opisane ni\u017cej b\u0142\u0119dy parsera uniemo\u017cliwiaj\u0105 uznanie dawnych klasyfikacji za niezale\u017cnie potwierdzon\u0105 polityk\u0119 dostawc\u00f3w.<\/p>\n
Czterna\u015bcie domen nie mia\u0142o takiego wyniku osiem-z-o\u015bmiu dla \u017cadnego z sze\u015bciu identyfikator\u00f3w. Dwana\u015bcie nie mia\u0142o \u017cadnej zabronionej \u015bcie\u017cki testowej dla \u017cadnego z nich. To r\u00f3\u017cne liczby: google.com i microsoft.com mia\u0142y cz\u0119\u015bciowe ograniczenia w zapisanym wyniku. Pierwotny diagram miesza\u0142 te kategorie.<\/p>\n
Podsumowanie podaje do 105 grup w g\u0142\u00f3wnych testach i 28 275 bajt\u00f3w dla najwi\u0119kszego pliku. Liczba grup zale\u017cy od parsera. Zwracana lista map witryn by\u0142a ograniczona do dwudziestu pozycji, wi\u0119c zapisana warto\u015b\u0107 dwadzie\u015bcia nie dowodzi dok\u0142adnie dwudziestu deklaracji. Znacznik kolejno\u015bci bajt\u00f3w r\u00f3wnie\u017c nie identyfikuje u\u017cytego edytora.<\/p>\n
Najpierw interpretacja statusu pobrania<\/h2>\n
Po udanym pobraniu znaczenie maj\u0105 regu\u0142y mo\u017cliwe do odczytania. RFC 9309 pozwala na crawling przy niedost\u0119pnym robots.txt, na przyk\u0142ad po odpowiedzi 4xx. To zezwolenie w ramach protoko\u0142u, nie dow\u00f3d fizycznego nieistnienia pliku. B\u0142\u0119dy sieci i serwera wymagaj\u0105 natomiast za\u0142o\u017cenia ca\u0142kowitego zakazu, z uwzgl\u0119dnieniem pami\u0119ci podr\u0119cznej i d\u0142ugotrwa\u0142ych awarii. Trzydzie\u015bci dni to w standardzie przyk\u0142ad d\u0142u\u017cszego okresu, a nie uniwersalny zegar.<\/p>\n
Google dokumentuje w\u0142asny przebieg: b\u0142\u0119dy serwera pocz\u0105tkowo zatrzymuj\u0105 crawling na dwana\u015bcie godzin; p\u00f3\u017aniejsze zachowanie zale\u017cy od ostatniej poprawnej kopii i og\u00f3lnej dost\u0119pno\u015bci witryny. Google traktuje 429 inaczej ni\u017c pozosta\u0142e 4xx. Pojedynczy kod statusu nie okre\u015bla wi\u0119c zachowania niezale\u017cnie od czasu, pami\u0119ci i implementacji.<\/p>\n
Host, schemat i port wyznaczaj\u0105 zakres. Przekierowanie robots.txt mo\u017ce prowadzi\u0107 do innego hosta, a odczytane tam regu\u0142y nadal obowi\u0105zuj\u0105 dla pierwotnego adresu. Zapora powinna udost\u0119pnia\u0107 w\u0142a\u015bciw\u0105 odpowied\u017a robots.txt uprawnionym crawlerom. Plik nie zast\u0119puje uwierzytelniania ani innych kontroli dost\u0119pu.<\/p>\n
<\/p>\n
\"Kaczki
Kaczki p\u0142ywaj\u0105 swobodnie po otwartej wodzie i ca\u0142kiem omijaj\u0105 pop\u0119kany l\u00f3d. Tak samo: gdy brak regu\u0142, wyszukiwarki mog\u0105 pobiera\u0107 wszystko, a gdy serwer zg\u0142asza b\u0142\u0105d, wszystko uznaje si\u0119 za zablokowane.<\/figcaption><\/figure>\n
Sze\u015b\u0107 identyfikator\u00f3w nie oznacza sze\u015bciu crawler\u00f3w treningowych<\/h2>\n
GPTBot i ClaudeBot dotycz\u0105 zbierania danych do rozwoju modeli ich dostawc\u00f3w. CCBot tworzy otwarte archiwum WWW Common Crawl. PerplexityBot wed\u0142ug dostawcy s\u0142u\u017cy odkrywaniu stron w wyszukiwaniu, a nie treningowi modeli bazowych. Oddzielne roboty wyszukiwania lub pobrania inicjowane przez u\u017cytkownika mog\u0105 podlega\u0107 innym zasadom.<\/p>\n
Google-Extended nie ma osobnego agenta HTTP. Token kontroluje okre\u015blone zastosowania treningowe i grounding w Gemini, bez zmiany obecno\u015bci lub pozycji w Google Search. Applebot-Extended tak\u017ce nie crawluje samodzielnie; steruje u\u017cyciem danych Applebota do treningu modeli bazowych. \u017baden z token\u00f3w nie kontroluje zbiorczo wszystkich funkcji AI ani ka\u017cdego \u017c\u0105dania.<\/p>\n
Ograniczenia podlinkowanej macierzy<\/h2>\n
Macierz crawler\u00f3w robots.txt<\/a> pokazuje do o\u015bmiu identyfikator\u00f3w wobec dwunastu \u015bcie\u017cek i wskazuje zwyci\u0119sk\u0105 lini\u0119. Sprawdzona implementacja zachowuje jednak tylko jedn\u0105 pasuj\u0105c\u0105 grup\u0119, b\u0142\u0119dnie rozpoznaje cz\u0119\u015b\u0107 granic grup z pustymi liniami, nie zapewnia wymaganej normalizacji procentowej i mo\u017ce pokazywa\u0107 dozwolone kom\u00f3rki po b\u0142\u0119dzie sieciowym. Og\u00f3lna obs\u0142uga 4xx nie odtwarza r\u00f3wnie\u017c zachowania Google dla 429. To konkretne ograniczenia, a nie kwestie pozostawione bez rozstrzygni\u0119cia przez RFC.<\/p>\n
Historyczne podsumowania nie zawieraj\u0105 kompletnych plik\u00f3w regu\u0142. Poprawionej dawnej oceny nie da si\u0119 odtworzy\u0107 wy\u0142\u0105cznie z tych podsumowa\u0144. Bie\u017c\u0105cy test wymaga rzeczywistego pliku, statusu, \u0142a\u0144cucha przekierowa\u0144, w\u0142a\u015bciwych token\u00f3w i reprezentatywnych \u015bcie\u017cek, por\u00f3wnanych z dokumentacj\u0105 danego crawlera.<\/p>\n
\n
Pytania i odpowiedzi<\/h2>\n
Czy Disallow usuwa adres z wyszukiwarki?<\/h3>\n
Nie zapewnia tego niezawodnie. Crawling i indeksowanie to osobne procesy. Google musi pobra\u0107 stron\u0119, aby odczyta\u0107 meta noindex lub X-Robots-Tag. Prywatna tre\u015b\u0107 wymaga kontroli dost\u0119pu, nie tylko instrukcji crawlowania.<\/p>\n
Czy strona b\u0142\u0119du HTML ze statusem 200 oznacza brak regu\u0142?<\/h3>\n
Niekoniecznie. Google pr\u00f3buje odczyta\u0107 prawid\u0142owe regu\u0142y i pomija inne linie. Status, typ tre\u015bci i zawarto\u015b\u0107 wymagaj\u0105 sprawdzenia. Otoczka HTML nie zast\u0119puje poprawnego pliku tekstowego UTF-8.<\/p>\n
Czy Crawl-delay dzia\u0142a uniwersalnie?<\/h3>\n
Nie. Pole znajduje si\u0119 poza podstawowym protoko\u0142em, a obs\u0142uga jest r\u00f3\u017cna. Google go nie obs\u0142uguje; Anthropic dokumentuje obs\u0142ug\u0119. Limity i sposoby sterowania wymagaj\u0105 sprawdzenia dla w\u0142a\u015bciwego dostawcy.<\/p>\n
Czy zmiany dzia\u0142aj\u0105 natychmiast?<\/h3>\n
Niekoniecznie. Zapisane kopie robots.txt i przetwarzanie u dostawcy wprowadzaj\u0105 op\u00f3\u017anienie. RFC zasadniczo odradza u\u017cywanie kopii przez ponad dwadzie\u015bcia cztery godziny, chyba \u017ce plik jest nieosi\u0105galny. Test parsera nie dowodzi, \u017ce crawler ju\u017c pobra\u0142 now\u0105 wersj\u0119.<\/p>\n<\/div>\n
\n
\u0179r\u00f3d\u0142a<\/h2>\n