robots.txt dla crawlerów wyszukiwarek, treningowych i asystentów: co daje każda blokada

Jeden plik, trzy grupy czytelników niemające ze sobą nic wspólnego. Crawler wyszukiwarki pobiera stronę, aby dało się ją znaleźć; crawler trenujący pobiera ją, aby powstał z niej model; asystent pobiera ją, bo minutę temu ktoś zadał pytanie. Rozróżnić tę trójkę da się wyłącznie po nazwie, którą się przedstawia, a blokada jednego nic nie mówi o pozostałych.

Dlatego zwyczajowe polecenie – zablokować crawlery AI – nie jest jedną decyzją, lecz trzema, a dwie z nich kosztują coś, czego przy dopisywaniu wiersza rzadko się dopowiada.

Trzy rodzaje wykonujące różną pracę

Crawlery wyszukiwarek – Googlebot, Bingbot i reszta – budują indeks, z którego pochodzą zwykłe wyniki. Blokada usuwa witrynę z wyszukiwarki w ciągu tygodni, dlatego nikt nie robi tego celowo i dlatego zdarza się przez przypadek: Disallow: / ze środowiska testowego, które przetrwało przeprowadzkę.

Crawlery trenujące – GPTBot, Google-Extended, ClaudeBot, CCBot i inne – zbierają materiał, z którego powstają modele. Pobierają raz i czytają wszystko; nic z tego nie wraca jako odwiedziny.

Crawlery asystentów – OAI-SearchBot, ChatGPT-User, PerplexityBot – pobierają stronę, bo właśnie teraz odpowiadają na pytanie. To, co pobiorą, często wraca: jako źródło, jako odnośnik, jako to zdanie, które ktoś czyta zamiast wyniku wyszukiwania.

Czemu zapobiega i ile kosztuje każda blokada

Środkowy wiersz to ten, o którym da się rozstrzygnąć z zasady i nic za to nie zapłacić. Dolny to ten, o którym rozstrzyga się przez przypadek, bo nazwy stoją w każdej krążącej liście tuż obok tych od trenowania.

Google-Extended to nie Googlebot

Rozróżnienie budzące najwięcej wahania: Google-Extended reguluje, czy treści służą do trenowania Gemini i modeli Vertex oraz do ugruntowania odpowiedzi (grounding) w aplikacjach Gemini i w Grounding with Google Search na Vertex AI. Na pobieranie dla wyszukiwarki, na indeksowanie i na pozycję nie wpływa. Blokada niczego nie zmienia w tym, jak strona radzi sobie w Google, i nie jest to twierdzenie, któremu trzeba zaufać – po to ta nazwa istnieje.

Ten sam podział przebiega przez pozostałych dostawców. GPTBot to trenowanie; OAI-SearchBot zasila indeks wyszukiwania za asystentem; ChatGPT-User to pobranie następujące, gdy pyta człowiek. Zablokowanie wszystkich trzech, bo nazwy wyglądają podobnie, to najczęstsza droga, którą witryna po cichu znika z odpowiedzi, w których chciała się znaleźć.

Wstecz nic nie działa

Blokada obowiązuje od chwili odczytania. To, co już pobrano, siedzi w zbiorach z tego zbudowanych, a te nie zaglądają ponownie do robots.txt. Witryna działająca od lat, która dziś dopisuje te wiersze, rozstrzygnęła o przyszłych pobraniach, a nie o minionych.

Warto to powiedzieć wprost, bo decyzję przedstawia się często jako usunięcie. Nie jest usunięciem, lecz płotem wokół tego, czego jeszcze nie pobrano.

llms.txt: mapa, a nie reguła

Plik pod /llms.txt jest w zamyśle przeciwieństwem robots.txt: nie zabrania, tylko wskazuje. Krótki dokument Markdown nazywający, o co w witrynie chodzi i które strony niosą treść – spis rzeczy dla czegoś, co czyta się bez nawigacji.

Dwie rzeczy trzeba przy tym wyjaśnić. To propozycja, a nie standard, i żaden crawler nie ma obowiązku go szukać. I niczego nie ogranicza: strona tam wymieniona nie staje się przez to dozwolona, a brakująca nie staje się chroniona. Napisanie kosztuje dziesięć minut i jest warte dokładnie tyle, co dobry spis treści – czyli zupełnie nic, jeśli strony za nim są ubogie.

Czego robots.txt nie potrafi

To prośba, a nie zamek. Każdy crawler sam decyduje, czy się do niej stosuje, a ci, którzy to robią, są dokładnie tymi, którzy publikują nazwę, pod którą da się ich zablokować. Tego, co plik ignoruje, nic w nim nie dotyczy.

I nie trzyma strony poza wynikami wyszukiwania. Zablokowana strona, do której inni odsyłają, i tak może się pojawić, tyle że bez opisu, bo crawlerowi nie wolno było odczytać jej treści. Trzymanie czegoś poza indeksem wymaga noindex – do czego crawler musi mieć wstęp, aby to odczytać – a trzymanie czegoś w prywatności wymaga logowania. robots.txt stoi poniżej obu i dobrze nadaje się dokładnie do tego, czym jest: do kierowania ruchem tych crawlerów, które dają się kierować.

Trzy szczegóły kryjące się za nazwami

Google-Extended nie da się zablokować na serwerze

Google-Extended nie ma własnego ciągu user agent. Dokumentacja crawlerów Google podaje, że pobieranie odbywa się z użyciem istniejących user agentów Google, a nazwa w robots.txt pełni wyłącznie funkcję sterującą. Pod tą nazwą nie dociera więc żadne żądanie. Reguła zapory lub serwera oparta na niej niczego nie łapie, a reguła wymierzona w tego, kto faktycznie pobiera, czyli w Googlebota, usuwa witrynę z wyszukiwarki. W kwestii trenowania i groundingu po stronie Google jedyną dźwignią pozostaje wpis w robots.txt.

CCBot zasila publiczne archiwum

CCBot to crawler Common Crawl. Przedstawia się jako CCBot/2.0 i przestrzega robots.txt. Zebrane dane leżą w Amazon S3 i są publikowane jako otwarty zbiór danych z możliwie najmniejszymi ograniczeniami. To, co pobierze CCBot, nie zostaje więc u jednego dostawcy modeli, lecz jest dostępne dla każdego, kto pobierze archiwum. Blokada crawlerów trenujących poszczególnych dostawców przy otwartym CCBot zostawia tę okrężną drogę otwartą.

Nazwa podana dwa razy jest scalana, a nie losowana

Pliki rozrastające się latami czasem wymieniają ten sam crawler w dwóch grupach. RFC 9309 rozstrzyga ten przypadek: crawlery dopasowują nazwę bez względu na wielkość liter, a jeśli pasuje więcej niż jedna grupa, ich reguły zostają połączone w jedną grupę. W tej scalonej grupie, jak w każdej innej, decyduje najdłuższa pasująca reguła. Dwie grupy dla GPTBot, jedna z Disallow: /, druga z Allow: /blog/, zostawiają zatem /blog/ otwarte. Przy dopisywaniu grupy blokującej zamiar mógł być inny. Wyszukanie w pliku każdej nazwy crawlera pokazuje takie powtórzenia w kilka sekund.