410 Gone na robots.txt: jak odpowiedź 4xx na plik reguł zmienia zachowanie crawlera

Odmowa ma zakończyć rozmowę. Najwyraźniejsza, jaką zna sieć, to 410 Gone: nie „spróbuj później”, nie „przeniesione”, lecz „to istniało i już nie istnieje”.

Mały serwer wysłał tę odmowę w ciągu jednego dnia 732 498 razy. Crawler, który dostał ich najwięcej, nie zwolnił – i nie zwalniał od jedenastu dni.

Co naprawdę mówi 410

Kilka odpowiedzi opisuje sposoby, na jakie strona bywa niedostępna, i mówią rzeczy dość różne.

404 Not Found znaczy: tutaj nic nie ma. Pozostaje otwarte, czy coś tu było wcześniej albo będzie jutro. Crawler traktuje to jako stan tymczasowy i wraca.

410 Gone znaczy: tutaj coś było, zostało celowo usunięte i nie ma nowego adresu. To najmocniejszy sposób powiedzenia, że strona jest zamknięta, a wyszukiwarki porzucają takie adresy szybciej niż po 404.

Odpowiadanie na tysiące martwych adresów przez 410 jest zatem wyborem słusznym. Błąd leżał w zupełnie innym miejscu.

Reguła objęła jedyny plik, który mógł to zakończyć

Odmowa tkwiła w jednej regule: każdy adres pod wygaszonymi nazwami hostów odpowiada 410. Wycięto dwa wyjątki, oba świadome i oba wąskie.

robots.txt nie była jednym z nich.

Łatwo to przeoczyć: plik robots.txt zawiera reguły dla crawlerów, ale sam nie jest stroną z treścią. Reguła mówiąca „tutaj wszystko przepadło” obejmuje jednak także jego adres. Dlatego, tak jak pozostałe adresy, zwracał odpowiedź 410.

Dlaczego odpowiedź 4xx znaczy brak ograniczeń

W tym miejscu z przeoczenia robi się zaproszenie.

Standard mówi jednoznacznie, co obowiązuje, gdy robots.txt nie da się pobrać. Odpowiedź 5xx – serwer jest zepsuty – znaczy: cała witryna liczy się jako zabroniona, spróbować później. Odpowiedź 4xx znaczy odwrotnie: na tym hoście nie ma reguł, wolno pobierać wszystko.

Rozumowanie za tym stoi solidne. Brakująca robots.txt zawsze znaczyła „brak ograniczeń”, a nic nie odróżnia „ten host nigdy nie miał reguł” od „ten host je usunął”. 404 i 410 trafiają do tej samej szuflady.

Odmowa dotarła więc dokładnie na opak. Nie mówiła „trzymaj się z daleka”. Mówiła w tym jednym zdaniu, które crawler czyta, zanim cokolwiek rozstrzygnie, że nic tu nie jest zamknięte.

Przestrzeń adresowa bez dna

Błędna odpowiedź robi się kosztowna dopiero wtedy, gdy jest na co ją wydać.

Pytane adresy niosły parametr zapisujący, skąd crawler przyszedł. Każda strona odsyłała więc do adresów, których wcześniej nigdy nie było, a tamte odsyłały dalej. Zapas nigdy się nie kończył.

Liczby pokazują to wyraźnie: z 698 400 zapytań jednego dnia 696 907 dotyczyło różnych adresów – dwa na tysiąc były powtórzeniami. Crawler przechodzący taką przestrzeń nie robi nic złego; podąża za odnośnikami, a to całe jego zadanie. Nigdy nie skończy.

Ile waży pojedyncza odmowa

Ostatnia niespodzianka tkwiła w rozmiarze.

Sama wiadomość jest mała: 415 bajtów zwykłego tekstu z informacją, że zasób przepadł. Nagłówki wokół niej dały 1949 bajtów, a około 1700 z nich to polityka bezpieczeństwa treści.

Ta polityka reguluje, co wolno załadować stronie. Przy odmowie strony nie ma – nie ma czego ładować, czego regulować ani czego nagłówek miałby chronić. Dołączono ją mimo to do każdej z 732 498 odpowiedzi, bo była ustawiona na „zawsze”, co dla prawdziwych stron jest właśnie słuszne.

Wynik: 2364 bajty za powiedzenie nie i 1,65 GB dziennie wydane na to.

Co z tego wynika

Trzy rzeczy, uszeregowane według skutku.

Reguła, która sprawia, że host znika, potrzebuje wyjątku dla pliku opisującego ten host. robots.txt i wszystko inne, co crawler czyta, żeby rozstrzygnąć, musi pozostać czytelne, nawet gdy wszystko opisane przepadło. Osiągalna robots.txt z jednym Disallow: / kończy ruch u źródła, zamiast go przyjmować.

Nagłówki przeznaczone dla stron nie należą do odmów. Ograniczenie ich do hostów, które faktycznie wydają strony, zmniejszyło każdą odpowiedź z 2364 do 850 bajtów – ta sama odmowa przy mniej więcej jednej trzeciej ciężaru.

A parametr tworzący nowe adresy zamienia każde przechodzenie w nieskończone. Tam, gdzie za usuniętą treścią leży taka przestrzeń, usunięcie nie jest końcem pracy.