GPTBot, ClaudeBot i Google-Extended: co naprawdę robi wpis w robots.txt

Jeden plik u korzenia witryny rozstrzyga, komu wolno ją czytać. To czysty tekst, bez hasła, a wszystko w nim jest prośbą, a nie przepisem.

Odkąd modele językowe uczą się z otwartej sieci, plik ten niesie cztery nowe nazwy. Wpisanie każdej kosztuje jedną linijkę. To, czy linijka cokolwiek zdziała, zależy od szczegółów łatwych do pomylenia – i od przypadku, w którym plik pozwala na wszystko właśnie dlatego, że zdaje się go brakować.

Czym robots.txt jest, a czym nie

robots.txt to plik tekstowy u korzenia domeny, wypisujący, które adresy wolno pobrać programowi wyszukiwarki. Każdy taki program czyta go najpierw, przed wszystkim innym.

Czym nie jest: zamkiem. Nic go nie wymusza. Program, który plik pomija, dostaje strony i tak, a jedynym następstwem jest jego reputacja. Duże, znane z nazwy programy trzymają się go – w tym w ogóle tkwi sens nazwy, bo do bezimiennego nie da się zwrócić ani sprawdzić, czy się stosuje.

Plik działa więc dokładnie na tyle, na ile druga strona chce być rozpoznawalna. To należy powiedzieć jasno, zanim cokolwiek zostanie w nim zapisane.

Cztery nazwy, na których obecnie zależy

GPTBot pobiera strony na potrzeby trenowania modeli OpenAI. Osobno działa program pobierający stronę dlatego, że ktoś właśnie zadał o nią pytanie – dwa zadania, dwie nazwy.

ClaudeBot jest odpowiednikiem dla modeli Anthropic.

CCBot należy do Common Crawl, publicznego archiwum sieci. Jest najstarszy z czterech i najbardziej brzemienny w skutki, bo jego archiwum zasila wiele innych przedsięwzięć – zablokowanie jednego dostawcy modeli przy pozostawieniu otwartego CCBot znaczy, że strony i tak docierają do trenowania, tylko o krok później.

Google-Extended wyłamuje się z szeregu, a następny rozdział mówi dlaczego.

Do każdego zwraca się tak samo: grupa z nazwą programu, pod nią ścieżki, których dostać nie ma. Grupa obowiązuje dokładnie jedną nazwę, a program mający własną grupę pomija grupę ogólną całkowicie – regułę tę warto znać przed pierwszym wpisem, a szczegółowo stoi ona we wpisie o canonical, hreflang i noindex.

Google-Extended nie robi tego, co sugeruje nazwa

Ten wpis bywa odczytywany błędnie najczęściej, a pomyłka kosztuje w obie strony.

Google-Extended nie jest programem pobierającym. Żadne zapytanie pod tą nazwą nigdy nie przychodzi. To oznaczenie odpowiadające na osobne pytanie: czy treść, którą Google i tak pobrało, może posłużyć do trenowania modeli.

Samo pobieranie wykonuje Googlebot, pod własną nazwą i wedle własnych reguł. Blokada Google-Extended niczego więc nie zmienia w tym, jak witryna jest przeszukiwana, ani w tym, czy stoi w wynikach wyszukiwania. Strony są nadal pobierane, wypisywane i oceniane.

Odwrotna pomyłka kosztuje więcej. Kto blokuje Googlebota, by treści nie trafiły do trenowania modeli, usuwa witrynę zarazem z wyników wyszukiwania – bo tym jednym programem robiącym obie rzeczy jest właśnie ten zablokowany. Z decyzji o trenowaniu robi się decyzja o widoczności.

Dwie nazwy, dwa pytania. Pomylenie ich to najbardziej szkodliwa rzecz, jaką można w tym pliku zrobić.

Co mówi trzynaście prawdziwych plików

Sprawdzenie daje więcej niż domysł. Piętnaście dużych witryn sprawdzono 1 września 2026; trzynaście dostarczyło czytelny plik.

GPTBot stoi w sześciu z nich, ClaudeBot w sześciu, CCBot w pięciu, Google-Extended w czterech. Mniej więcej połowa tych witryn zajęła więc stanowisko, druga połowa nie – co samo w sobie jest stanowiskiem, bo milczenie znaczy zezwolenie.

Pliki różnią się ogromnie objętością. Jeden dochodzi do ponad 33 000 znaków przy trzynastu grupach, inny ma jedną grupę i 62 znaki. Duży sprzedawca prowadzi ClaudeBot dwukrotnie, w dwóch osobnych grupach, obie z tą samą regułą. Podwójne grupy dla jednej nazwy powinny zostać scalone i tutaj różnicy to nie robi, bo obie mówią to samo – natomiast dublet z dwiema różnymi regułami to loteria i wart jest poszukania.

Dwie z piętnastu nie dostarczyły pliku w ogóle. Właśnie ten przypadek jest najciekawszy.

Plik, który nie odpowiada, pozwala na wszystko

To, co dzieje się, gdy robots.txt nie da się odczytać, jest spisane – i biegnie w przeciwne strony zależnie od przyczyny.

Jeśli plik odpowiada błędem po stronie pobierającego – nie znaleziono, usunięto, zabroniono, cokolwiek z zakresu czterystu – program może potraktować witrynę jako w pełni otwartą. Brak pliku, brak ograniczeń. To rozsądne: większość witryn nie ma robots.txt w ogóle, a wymaganie go przed jakimkolwiek pobraniem sparaliżowałoby sieć.

Jeśli natomiast zawiedzie serwer – pięćsetka, przekroczony czas – program powinien potraktować witrynę jako w pełni zamkniętą, przynajmniej na jakiś czas. Również rozsądne: zepsuty serwer nie jest listem żelaznym, a zbiór reguł, który zniknął na godzinę, nie powinien otwierać witryny na tę godzinę.

Ta sama nieobecność znaczy więc rzeczy przeciwne, zależnie od tego, która strona zawiodła. A witryna odpowiadająca na własne robots.txt obroną przed robotami – odprawiając nietypowych klientów kodem 403 albo 418 – właśnie tą obroną oznajmiła każdemu regułom posłusznemu programowi, że wolno wszystko. Dwie z piętnastu sprawdzonych witryn odpowiadają dokładnie tak.

Spisane reguły nie są warte nic, jeśli plik, który je niesie, nie zostaje dostarczony.

Co da się sprawdzić w minutę

Cztery pytania rozstrzygają stan dowolnej domeny.

Czy plik odpowiada zwykłym 200 i czy to rzeczywiście tekst, a nie strona błędu. Które z czterech nazw występują i czy każda ma własną grupę. Czy Googlebot jest traktowany osobno od Google-Extended, tak by z decyzji o trenowaniu nie zrobiła się przypadkiem decyzja o widoczności. Oraz czy któraś nazwa pojawia się dwukrotnie z różnymi regułami.

Wszystko to jest jawne, dla każdej domeny, a odczytanie kosztuje jedno zapytanie. Inspektor indeksowania odczytuje robots.txt z właściwym pierwszeństwem grup i zgłasza, która grupa faktycznie rozstrzygnęła.

Użyteczna odpowiedź to jedno zdanie: czy ten plik mówi to, w co wierzy jego autorka – i czy w ogóle zostaje dostarczony.