{"id":14732,"date":"2026-10-25T18:25:00","date_gmt":"2026-10-25T17:25:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/blog\/?p=14732"},"modified":"2026-10-25T17:02:18","modified_gmt":"2026-10-25T16:02:18","slug":"jak-czesto-crawlery-naprawde-czytaja-robots-txt-od-zera-do-44-razy-dziennie","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/pl\/cloud-ai-pl\/tutorials-pl-cloud-ai-pl\/jak-czesto-crawlery-naprawde-czytaja-robots-txt-od-zera-do-44-razy-dziennie\/","title":{"rendered":"Cz\u0119stotliwo\u015b\u0107 pobierania robots.txt: co potwierdzaj\u0105 historyczne logi"},"content":{"rendered":"

Zmiana robots.txt publikuje instrukcj\u0119, lecz nie zast\u0119puje kontroli dost\u0119pu. \u017b\u0105danie w logu potwierdza kontakt z serwerem, a nie samo w sobie odebranie, zrozumienie i zastosowanie nowych regu\u0142. Zachowana analiza jest przydatna, ale jej metoda ogranicza wnioski.<\/p>\n

\"Liczba<\/figure>\n

Zachowane dowody<\/h2>\n

Pierwotny artyku\u0142 wskazuje okres od 22 sierpnia do 4 wrze\u015bnia 2026. Wynik zawiera czterna\u015bcie grup plik\u00f3w, a skrypt wybiera bie\u017c\u0105cy log Apache i trzyna\u015bcie plik\u00f3w po rotacji. Nie filtruje czasu. Czterna\u015bcie plik\u00f3w nie dowodzi wi\u0119c czternastu pe\u0142nych dni ani niezale\u017cnie wskazanego zakresu dat.<\/p>\n

Poprawiony historyczny skrypt uwzgl\u0119dnia domen\u0119 g\u0142\u00f3wn\u0105 i prefiks www. Grupuje tekst User-Agent bez weryfikacji \u017ar\u00f3d\u0142owego IP. S\u0105 to deklarowane oznaczenia, nie potwierdzeni operatorzy. Liczy te\u017c ka\u017cdy wiersz \u017c\u0105dania zawieraj\u0105cy robots.txt, w tym podkatalog, nazw\u0119 kopii zapasowej lub parametr zapytania. Metoda i status odpowiedzi pozostaj\u0105 niesprawdzone.<\/p>\n

Co m\u00f3wi\u0105 zapisane liczby<\/h2>\n

Tabela odtwarza zachowane zestawienie. Ostatnia kolumna dzieli wynik przez czterna\u015bcie, aby umo\u017cliwi\u0107 por\u00f3wnanie z pierwotnym rachunkiem; nie stanowi ponownie potwierdzonej cz\u0119sto\u015bci dziennej. Pozosta\u0142e \u017c\u0105dania nie musz\u0105 dotyczy\u0107 stron: mog\u0105 obejmowa\u0107 pliki, b\u0142\u0119dy i przekierowania.<\/p>\n

CCBot ma dziewi\u0119\u0107 dopasowa\u0144, a nie liczb\u0119 wynikaj\u0105c\u0105 z trzech dziennie. PerplexityBot ma trzyna\u015bcie: oko\u0142o 0,9 zamiast 1,9 na umowny dzie\u0144. Dla Bytespider 615 z 805 oznacza 76,4%, a dla OAI-SearchBot 152 z 477 daje 31,9%. To udzia\u0142y \u017c\u0105da\u0144, nie dow\u00f3d skutecznego pobrania regu\u0142.<\/p>\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
Deklarowana nazwa<\/th>\n\u017b\u0105dania<\/th>\nDopasowania robots.txt<\/th>\nWynik \/ 14<\/th>\n<\/tr>\n<\/thead>\n
Bytespider<\/td>\n805<\/td>\n615<\/td>\n43,9<\/td>\n<\/tr>\n
ClaudeBot<\/td>\n10 227 745<\/td>\n601<\/td>\n42,9<\/td>\n<\/tr>\n
OAI-SearchBot<\/td>\n477<\/td>\n152<\/td>\n10,9<\/td>\n<\/tr>\n
Applebot<\/td>\n958<\/td>\n147<\/td>\n10,5<\/td>\n<\/tr>\n
Googlebot<\/td>\n875<\/td>\n124<\/td>\n8,9<\/td>\n<\/tr>\n
bingbot<\/td>\n4 357<\/td>\n69<\/td>\n4,9<\/td>\n<\/tr>\n
PerplexityBot<\/td>\n607<\/td>\n13<\/td>\n0,9<\/td>\n<\/tr>\n
CCBot<\/td>\n167<\/td>\n9<\/td>\n0,6<\/td>\n<\/tr>\n
Amazonbot<\/td>\n10 700<\/td>\n9<\/td>\n0,6<\/td>\n<\/tr>\n
ChatGPT-User<\/td>\n1 047<\/td>\n1<\/td>\n0,1<\/td>\n<\/tr>\n
meta-externalagent<\/td>\n1 851<\/td>\n0<\/td>\n0,0<\/td>\n<\/tr>\n
GPTBot<\/td>\n1 464<\/td>\n0<\/td>\n0,0<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\u015arednia nie wyznacza terminu<\/h2>\n

Nawet gdyby 615 \u017c\u0105da\u0144 obejmowa\u0142o dok\u0142adnie czterna\u015bcie dni, dzielenie czasu przez liczb\u0119 nie pokaza\u0142oby najd\u0142u\u017cszej przerwy, kolejnego pobrania ani chwili zastosowania regu\u0142y. Wiele proces\u00f3w, r\u00f3\u017cne kombinacje protoko\u0142u, hosta i portu, skupiska ruchu i ponowienia mog\u0105 da\u0107 t\u0119 sam\u0105 \u015bredni\u0105.<\/p>\n

Zero oznacza jedynie brak dopasowania w tym zestawieniu. Wsp\u00f3lna pami\u0119\u0107 podr\u0119czna, inne oznaczenia, brakuj\u0105ce logi i b\u0142\u0119dna klasyfikacja pozostaj\u0105 mo\u017cliwe. Jednocze\u015bnie czternastodniowa kopia nie jest automatycznie uzasadniona: RFC 9309 zaleca od\u015bwie\u017cenie w ci\u0105gu 24 godzin, z wyj\u0105tkiem nieosi\u0105galnego robots.txt. W sprawdzonym pakiecie brak zapisu przed i po zmianie ze znacznikami czasu, kt\u00f3ry potwierdza\u0142by wcze\u015bniejsze twierdzenie o skutku po siedmiu minutach.<\/p>\n

Rodzaj us\u0142ugi i b\u0142\u0119dy<\/h2>\n

ChatGPT-User jest udokumentowany jako agent dzia\u0142a\u0144 inicjowanych przez u\u017cytkownik\u00f3w, a nie automatyczny crawler. Regu\u0142y robots.txt mog\u0105 nie dotyczy\u0107 takich \u017c\u0105da\u0144. Ranking zak\u0142adaj\u0105cy identyczny obowi\u0105zek regularnego od\u015bwie\u017cania by\u0142by myl\u0105cy. Google opisuje r\u00f3wnie\u017c wsp\u00f3\u0142dzielenie kopii robots.txt mi\u0119dzy crawlerami.<\/p>\n

RFC 9309 dopuszcza dost\u0119p przy niedost\u0119pnym robots.txt, na przyk\u0142ad po 4xx, a przy b\u0142\u0119dach serwera lub sieci wymaga pocz\u0105tkowego za\u0142o\u017cenia blokady, z wyj\u0105tkiem d\u0142ugiej awarii. Google uznaje zwyk\u0142e 4xx za brak ogranicze\u0144, ale traktuje 429 inaczej. Przy b\u0142\u0119dzie serwera najpierw wstrzymuje pobieranie na dwana\u015bcie godzin, a nast\u0119pnie mo\u017ce u\u017cywa\u0107 ostatniej poprawnej kopii. Bez kopii pobieranie mo\u017ce by\u0107 nieograniczone. Kod 503 nie jest wi\u0119c niezawodn\u0105 sta\u0142\u0105 blokad\u0105.<\/p>\n

403 na robots.txt nie znosi logowania ani zapory chroni\u0105cej pozosta\u0142e adresy. 304 mo\u017ce prawid\u0142owo potwierdzi\u0107 wa\u017cno\u015b\u0107 zapisanej kopii. Jasna odpowied\u017a 200 z aktualnym tekstem jest u\u017cyteczna, lecz wymaganie zawsze wy\u0142\u0105cznie 200 by\u0142oby b\u0142\u0119dne.<\/p>\n

Dok\u0142adniejszy pomiar<\/h2>\n

Kolejna analiza wymaga jawnego przedzia\u0142u i strefy czasowej, kombinacji protoko\u0142u, hosta i portu, dok\u0142adnej \u015bcie\u017cki, metody, statusu i wersji regu\u0142. To\u017csamo\u015b\u0107 operatora wymaga osobnej kontroli. Potrzebne s\u0105 tak\u017ce logi CDN i znaczniki czasu do wyznaczenia przerw. Skr\u00f3t tre\u015bci lub numer wersji \u0142\u0105czy skuteczne pobranie ze zmienionymi regu\u0142ami.<\/p>\n

Google Search Console umo\u017cliwia pro\u015bb\u0119 o ponowne pobranie robots.txt przy wa\u017cnej zmianie. Nie gwarantuje to natychmiastowego pobrania odblokowanych stron. Dla innych operator\u00f3w potrzebna jest aktualna dokumentacja. Pilna ochrona wymaga kontroli dost\u0119pu lub odpowiednich limit\u00f3w \u017c\u0105da\u0144 o okre\u015blonym zakresie. robots.txt sam nie usuwa adres\u00f3w z indeksu; czytelne noindex, usuni\u0119cie tre\u015bci i ograniczony dost\u0119p realizuj\u0105 r\u00f3\u017cne cele.<\/p>\n

\u0179r\u00f3d\u0142a<\/h2>\n