{"id":13594,"date":"2026-10-19T18:25:00","date_gmt":"2026-10-19T16:25:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/blog\/?p=13594"},"modified":"2026-10-09T23:41:25","modified_gmt":"2026-10-09T21:41:25","slug":"410-gone-na-robots-txt-jak-odpowiedz-4xx-na-plik-regul-zmienia-zachowanie","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/pl\/cloud-ai-pl\/tutorials-pl-cloud-ai-pl\/410-gone-na-robots-txt-jak-odpowiedz-4xx-na-plik-regul-zmienia-zachowanie\/","title":{"rendered":"410 Gone na robots.txt: jak odpowied\u017a 4xx na plik regu\u0142 zmienia zachowanie crawlera"},"content":{"rendered":"

Odmowa ma zako\u0144czy\u0107 rozmow\u0119. Najwyra\u017aniejsza, jak\u0105 zna sie\u0107, to 410 Gone<\/code>: nie \u201espr\u00f3buj p\u00f3\u017aniej”, nie \u201eprzeniesione”, lecz \u201eto istnia\u0142o i ju\u017c nie istnieje”.<\/p>\n

Ma\u0142y serwer wys\u0142a\u0142 t\u0119 odmow\u0119 w ci\u0105gu jednego dnia 732 498 razy. Crawler, kt\u00f3ry dosta\u0142 ich najwi\u0119cej, nie zwolni\u0142 – i nie zwalnia\u0142 od jedenastu dni.<\/p>\n

\n\"Cztery
Cztery kroki, ka\u017cdy z osobna s\u0142uszny, a razem zaj\u0119\u0142y crawlera na jedena\u015bcie dni.<\/figcaption><\/figure>\n

Co naprawd\u0119 m\u00f3wi 410<\/h2>\n

Kilka odpowiedzi opisuje sposoby, na jakie strona bywa niedost\u0119pna, i m\u00f3wi\u0105 rzeczy do\u015b\u0107 r\u00f3\u017cne.<\/p>\n

404 Not Found<\/code> znaczy: tutaj nic nie ma. Pozostaje otwarte, czy co\u015b tu by\u0142o wcze\u015bniej albo b\u0119dzie jutro. Crawler traktuje to jako stan tymczasowy i wraca.<\/p>\n

410 Gone<\/code> znaczy: tutaj co\u015b by\u0142o, zosta\u0142o celowo usuni\u0119te i nie ma nowego adresu. To najmocniejszy spos\u00f3b powiedzenia, \u017ce strona jest zamkni\u0119ta, a wyszukiwarki porzucaj\u0105 takie adresy szybciej ni\u017c po 404.<\/p>\n

Odpowiadanie na tysi\u0105ce martwych adres\u00f3w przez 410 jest zatem wyborem s\u0142usznym. B\u0142\u0105d le\u017ca\u0142 w zupe\u0142nie innym miejscu.<\/p>\n

Regu\u0142a obj\u0119\u0142a jedyny plik, kt\u00f3ry m\u00f3g\u0142 to zako\u0144czy\u0107<\/h2>\n

Odmowa tkwi\u0142a w jednej regule: ka\u017cdy adres pod wygaszonymi nazwami host\u00f3w odpowiada 410. Wyci\u0119to dwa wyj\u0105tki, oba \u015bwiadome i oba w\u0105skie.<\/p>\n

robots.txt<\/code> nie by\u0142a jednym z nich.<\/p>\n

\u0141atwo to przeoczy\u0107: plik robots.txt zawiera regu\u0142y dla crawler\u00f3w, ale sam nie jest stron\u0105 z tre\u015bci\u0105. Regu\u0142a m\u00f3wi\u0105ca \u201etutaj wszystko przepad\u0142o\u201d obejmuje jednak tak\u017ce jego adres. Dlatego, tak jak pozosta\u0142e adresy, zwraca\u0142 odpowied\u017a 410.<\/p>\n

Dlaczego odpowied\u017a 4xx znaczy brak ogranicze\u0144<\/h2>\n

W tym miejscu z przeoczenia robi si\u0119 zaproszenie.<\/p>\n

Standard m\u00f3wi jednoznacznie, co obowi\u0105zuje, gdy robots.txt nie da si\u0119 pobra\u0107. Odpowied\u017a 5xx – serwer jest zepsuty – znaczy: ca\u0142a witryna liczy si\u0119 jako zabroniona, spr\u00f3bowa\u0107 p\u00f3\u017aniej. Odpowied\u017a 4xx znaczy odwrotnie: na tym ho\u015bcie nie ma regu\u0142, wolno pobiera\u0107 wszystko.<\/p>\n

Rozumowanie za tym stoi solidne. Brakuj\u0105ca robots.txt zawsze znaczy\u0142a \u201ebrak ogranicze\u0144”, a nic nie odr\u00f3\u017cnia \u201eten host nigdy nie mia\u0142 regu\u0142” od \u201eten host je usun\u0105\u0142”. 404 i 410 trafiaj\u0105 do tej samej szuflady.<\/p>\n

Odmowa dotar\u0142a wi\u0119c dok\u0142adnie na opak. Nie m\u00f3wi\u0142a \u201etrzymaj si\u0119 z daleka”. M\u00f3wi\u0142a w tym jednym zdaniu, kt\u00f3re crawler czyta, zanim cokolwiek rozstrzygnie, \u017ce nic tu nie jest zamkni\u0119te.<\/p>\n

\n\"Zamkni\u0119ty
\n<\/figure>\n

Przestrze\u0144 adresowa bez dna<\/h2>\n

B\u0142\u0119dna odpowied\u017a robi si\u0119 kosztowna dopiero wtedy, gdy jest na co j\u0105 wyda\u0107.<\/p>\n

Pytane adresy nios\u0142y parametr zapisuj\u0105cy, sk\u0105d crawler przyszed\u0142. Ka\u017cda strona odsy\u0142a\u0142a wi\u0119c do adres\u00f3w, kt\u00f3rych wcze\u015bniej nigdy nie by\u0142o, a tamte odsy\u0142a\u0142y dalej. Zapas nigdy si\u0119 nie ko\u0144czy\u0142.<\/p>\n

Liczby pokazuj\u0105 to wyra\u017anie: z 698 400 zapyta\u0144 jednego dnia 696 907 dotyczy\u0142o r\u00f3\u017cnych adres\u00f3w – dwa na tysi\u0105c by\u0142y powt\u00f3rzeniami. Crawler przechodz\u0105cy tak\u0105 przestrze\u0144 nie robi nic z\u0142ego; pod\u0105\u017ca za odno\u015bnikami, a to ca\u0142e jego zadanie. Nigdy nie sko\u0144czy.<\/p>\n

Ile wa\u017cy pojedyncza odmowa<\/h2>\n

Ostatnia niespodzianka tkwi\u0142a w rozmiarze.<\/p>\n

Sama wiadomo\u015b\u0107 jest ma\u0142a: 415 bajt\u00f3w zwyk\u0142ego tekstu z informacj\u0105, \u017ce zas\u00f3b przepad\u0142. Nag\u0142\u00f3wki wok\u00f3\u0142 niej da\u0142y 1949 bajt\u00f3w, a oko\u0142o 1700 z nich to polityka bezpiecze\u0144stwa tre\u015bci.<\/p>\n

Ta polityka reguluje, co wolno za\u0142adowa\u0107 stronie. Przy odmowie strony nie ma – nie ma czego \u0142adowa\u0107, czego regulowa\u0107 ani czego nag\u0142\u00f3wek mia\u0142by chroni\u0107. Do\u0142\u0105czono j\u0105 mimo to do ka\u017cdej z 732 498 odpowiedzi, bo by\u0142a ustawiona na \u201ezawsze”, co dla prawdziwych stron jest w\u0142a\u015bnie s\u0142uszne.<\/p>\n

Wynik: 2364 bajty za powiedzenie nie i 1,65 GB dziennie wydane na to.<\/p>\n

Co z tego wynika<\/h2>\n

Trzy rzeczy, uszeregowane wed\u0142ug skutku.<\/p>\n

Regu\u0142a, kt\u00f3ra sprawia, \u017ce host znika, potrzebuje wyj\u0105tku dla pliku opisuj\u0105cego ten host. robots.txt i wszystko inne, co crawler czyta, \u017ceby rozstrzygn\u0105\u0107, musi pozosta\u0107 czytelne, nawet gdy wszystko opisane przepad\u0142o. Osi\u0105galna robots.txt z jednym Disallow: \/<\/code> ko\u0144czy ruch u \u017ar\u00f3d\u0142a, zamiast go przyjmowa\u0107.<\/p>\n

Nag\u0142\u00f3wki przeznaczone dla stron nie nale\u017c\u0105 do odm\u00f3w. Ograniczenie ich do host\u00f3w, kt\u00f3re faktycznie wydaj\u0105 strony, zmniejszy\u0142o ka\u017cd\u0105 odpowied\u017a z 2364 do 850 bajt\u00f3w – ta sama odmowa przy mniej wi\u0119cej jednej trzeciej ci\u0119\u017caru.<\/p>\n

A parametr tworz\u0105cy nowe adresy zamienia ka\u017cde przechodzenie w niesko\u0144czone. Tam, gdzie za usuni\u0119t\u0105 tre\u015bci\u0105 le\u017cy taka przestrze\u0144, usuni\u0119cie nie jest ko\u0144cem pracy.<\/p>\n

\n

Pytania i odpowiedzi<\/h2>\n

Czy Disallow: \/ usuwa stare adresy tak\u017ce z indeksu wyszukiwarki?<\/h3>\n

Nie od razu. Disallow zabrania pobierania, a nie indeksowania. Zablokowany adres nie jest ju\u017c pobierany, wi\u0119c crawler nie widzi te\u017c jego odpowiedzi 410. Adresy, kt\u00f3re s\u0105 ju\u017c znane albo do kt\u00f3rych prowadz\u0105 odno\u015bniki z innych miejsc, mog\u0105 zatem pozosta\u0107 w indeksie jako sam adres bez tre\u015bci. Znacznik noindex nic tu nie pomo\u017ce, bo on r\u00f3wnie\u017c znajdowa\u0142by si\u0119 na stronie, kt\u00f3rej crawler ju\u017c nie pobiera.<\/p>\n

Kto chce osi\u0105gn\u0105\u0107 jedno i drugie, musi ustali\u0107 kolejno\u015b\u0107: najpierw wa\u017cne adresy musz\u0105 mie\u0107 okazj\u0119 zwr\u00f3ci\u0107 swoje 410, a dopiero potem blokada ko\u0144czy ruch. Przy przestrzeni adresowej bez dna, takiej jak w artykule, ten plan si\u0119 nie sprawdza, bo odmowy nigdy by si\u0119 nie sko\u0144czy\u0142y. Tam blokada jest lepszym wyborem, nawet je\u015bli pojedyncze adresy przez jaki\u015b czas zostan\u0105 w indeksie.<\/p>\n

Dlaczego nie odpowiada\u0107 na robots.txt kodem 503, \u017ceby ca\u0142a witryna liczy\u0142a si\u0119 jako zablokowana?<\/h3>\n

Bo taka blokada dzia\u0142a tylko przez pewien czas. RFC 9309 traktuje b\u0142\u0105d serwera przy robots.txt najpierw jako pe\u0142ny zakaz, ale pozwala crawlerowi, gdy plik d\u0142ugo pozostaje nieosi\u0105galny (standard podaje przyk\u0142adowo 30 dni), post\u0119powa\u0107 tak, jakby robots.txt nie istnia\u0142a, albo nadal korzysta\u0107 z kopii z pami\u0119ci podr\u0119cznej. W pierwszym przypadku host zn\u00f3w zostaje bez regu\u0142, dok\u0142adnie tak jak przy 410. Osi\u0105galny plik z Disallow: \/ to forma, kt\u00f3ra obowi\u0105zuje trwale.<\/p>\n

Jak szybko dzia\u0142a poprawiona robots.txt?<\/h3>\n

Z op\u00f3\u017anieniem do jednej doby. RFC 9309 przewiduje, \u017ce crawler nie powinien korzysta\u0107 z robots.txt z pami\u0119ci podr\u0119cznej d\u0142u\u017cej ni\u017c 24 godziny; do tego czasu mo\u017ce jeszcze dzia\u0142a\u0107 wed\u0142ug starej odpowiedzi, czyli tak, jakby nie by\u0142o \u017cadnych regu\u0142. To, czy poprawka dzia\u0142a, wida\u0107 wi\u0119c dopiero w ruchu nast\u0119pnego dnia, a nie w pierwszej godzinie.<\/p>\n<\/div>\n

\n

\u0179r\u00f3d\u0142a<\/h2>\n