{"id":13496,"date":"2026-09-12T18:25:00","date_gmt":"2026-09-12T16:25:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/blog\/?p=13496"},"modified":"2026-09-09T21:29:47","modified_gmt":"2026-09-09T19:29:47","slug":"gptbot-claudebot-i-google-extended-co-naprawde-robi-wpis-w-robots-txt","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/pl\/cloud-ai-pl\/tutorials-pl-cloud-ai-pl\/gptbot-claudebot-i-google-extended-co-naprawde-robi-wpis-w-robots-txt\/","title":{"rendered":"GPTBot, ClaudeBot i Google-Extended: co naprawd\u0119 robi wpis w robots.txt"},"content":{"rendered":"

Jeden plik u korzenia witryny rozstrzyga, komu wolno j\u0105 czyta\u0107. To czysty tekst, bez has\u0142a, a wszystko w nim jest pro\u015bb\u0105, a nie przepisem.<\/p>\n

Odk\u0105d modele j\u0119zykowe ucz\u0105 si\u0119 z otwartej sieci, plik ten niesie cztery nowe nazwy. Wpisanie ka\u017cdej kosztuje jedn\u0105 linijk\u0119. To, czy linijka cokolwiek zdzia\u0142a, zale\u017cy od szczeg\u00f3\u0142\u00f3w \u0142atwych do pomylenia – i od przypadku, w kt\u00f3rym plik pozwala na wszystko w\u0142a\u015bnie dlatego, \u017ce zdaje si\u0119 go brakowa\u0107.<\/p>\n

\n\"Trzy
\u015arodkowy przypadek jest tym, kt\u00f3rego nikt si\u0119 nie spodziewa: odpowied\u017a b\u0142\u0119dem uchodzi za zezwolenie.<\/figcaption><\/figure>\n

Czym robots.txt jest, a czym nie<\/h2>\n

robots.txt to plik tekstowy u korzenia domeny, wypisuj\u0105cy, kt\u00f3re adresy wolno pobra\u0107 programowi wyszukiwarki. Ka\u017cdy taki program czyta go najpierw, przed wszystkim innym.<\/p>\n

Czym nie jest: zamkiem. Nic go nie wymusza. Program, kt\u00f3ry plik pomija, dostaje strony i tak, a jedynym nast\u0119pstwem jest jego reputacja. Du\u017ce, znane z nazwy programy trzymaj\u0105 si\u0119 go – w tym w og\u00f3le tkwi sens nazwy, bo do bezimiennego nie da si\u0119 zwr\u00f3ci\u0107 ani sprawdzi\u0107, czy si\u0119 stosuje.<\/p>\n

Plik dzia\u0142a wi\u0119c dok\u0142adnie na tyle, na ile druga strona chce by\u0107 rozpoznawalna. To nale\u017cy powiedzie\u0107 jasno, zanim cokolwiek zostanie w nim zapisane.<\/p>\n

Cztery nazwy, na kt\u00f3rych obecnie zale\u017cy<\/h2>\n

GPTBot<\/strong> pobiera strony na potrzeby trenowania modeli OpenAI. Osobno dzia\u0142a program pobieraj\u0105cy stron\u0119 dlatego, \u017ce kto\u015b w\u0142a\u015bnie zada\u0142 o ni\u0105 pytanie – dwa zadania, dwie nazwy.<\/p>\n

ClaudeBot<\/strong> jest odpowiednikiem dla modeli Anthropic.<\/p>\n

CCBot<\/strong> nale\u017cy do Common Crawl, publicznego archiwum sieci. Jest najstarszy z czterech i najbardziej brzemienny w skutki, bo jego archiwum zasila wiele innych przedsi\u0119wzi\u0119\u0107 – zablokowanie jednego dostawcy modeli przy pozostawieniu otwartego CCBot znaczy, \u017ce strony i tak docieraj\u0105 do trenowania, tylko o krok p\u00f3\u017aniej.<\/p>\n

Google-Extended<\/strong> wy\u0142amuje si\u0119 z szeregu, a nast\u0119pny rozdzia\u0142 m\u00f3wi dlaczego.<\/p>\n

Do ka\u017cdego zwraca si\u0119 tak samo: grupa z nazw\u0105 programu, pod ni\u0105 \u015bcie\u017cki, kt\u00f3rych dosta\u0107 nie ma. Grupa obowi\u0105zuje dok\u0142adnie jedn\u0105 nazw\u0119, a program maj\u0105cy w\u0142asn\u0105 grup\u0119 pomija grup\u0119 og\u00f3ln\u0105 ca\u0142kowicie – regu\u0142\u0119 t\u0119 warto zna\u0107 przed pierwszym wpisem, a szczeg\u00f3\u0142owo stoi ona we wpisie o canonical, hreflang i noindex<\/a>.<\/p>\n

Google-Extended nie robi tego, co sugeruje nazwa<\/h2>\n

Ten wpis bywa odczytywany b\u0142\u0119dnie najcz\u0119\u015bciej, a pomy\u0142ka kosztuje w obie strony.<\/p>\n

Google-Extended nie jest programem pobieraj\u0105cym. \u017badne zapytanie pod t\u0105 nazw\u0105 nigdy nie przychodzi. To oznaczenie odpowiadaj\u0105ce na osobne pytanie: czy tre\u015b\u0107, kt\u00f3r\u0105 Google i tak pobra\u0142o, mo\u017ce pos\u0142u\u017cy\u0107 do trenowania modeli.<\/p>\n

Samo pobieranie wykonuje Googlebot, pod w\u0142asn\u0105 nazw\u0105 i wedle w\u0142asnych regu\u0142. Blokada Google-Extended niczego wi\u0119c nie zmienia w tym, jak witryna jest przeszukiwana, ani w tym, czy stoi w wynikach wyszukiwania. Strony s\u0105 nadal pobierane, wypisywane i oceniane.<\/p>\n

Odwrotna pomy\u0142ka kosztuje wi\u0119cej. Kto blokuje Googlebota, by tre\u015bci nie trafi\u0142y do trenowania modeli, usuwa witryn\u0119 zarazem z wynik\u00f3w wyszukiwania – bo tym jednym programem robi\u0105cym obie rzeczy jest w\u0142a\u015bnie ten zablokowany. Z decyzji o trenowaniu robi si\u0119 decyzja o widoczno\u015bci.<\/p>\n

Dwie nazwy, dwa pytania. Pomylenie ich to najbardziej szkodliwa rzecz, jak\u0105 mo\u017cna w tym pliku zrobi\u0107.<\/p>\n

\n\"Pojedyncza
\n<\/figure>\n

Co m\u00f3wi trzyna\u015bcie prawdziwych plik\u00f3w<\/h2>\n

Sprawdzenie daje wi\u0119cej ni\u017c domys\u0142. Pi\u0119tna\u015bcie du\u017cych witryn sprawdzono 1 wrze\u015bnia 2026; trzyna\u015bcie dostarczy\u0142o czytelny plik.<\/p>\n

GPTBot stoi w sze\u015bciu z nich, ClaudeBot w sze\u015bciu, CCBot w pi\u0119ciu, Google-Extended w czterech. Mniej wi\u0119cej po\u0142owa tych witryn zaj\u0119\u0142a wi\u0119c stanowisko, druga po\u0142owa nie – co samo w sobie jest stanowiskiem, bo milczenie znaczy zezwolenie.<\/p>\n

Pliki r\u00f3\u017cni\u0105 si\u0119 ogromnie obj\u0119to\u015bci\u0105. Jeden dochodzi do ponad 33 000 znak\u00f3w przy trzynastu grupach, inny ma jedn\u0105 grup\u0119 i 62 znaki. Du\u017cy sprzedawca prowadzi ClaudeBot dwukrotnie, w dw\u00f3ch osobnych grupach, obie z t\u0105 sam\u0105 regu\u0142\u0105. Podw\u00f3jne grupy dla jednej nazwy powinny zosta\u0107 scalone i tutaj r\u00f3\u017cnicy to nie robi, bo obie m\u00f3wi\u0105 to samo – natomiast dublet z dwiema r\u00f3\u017cnymi regu\u0142ami to loteria i wart jest poszukania.<\/p>\n

Dwie z pi\u0119tnastu nie dostarczy\u0142y pliku w og\u00f3le. W\u0142a\u015bnie ten przypadek jest najciekawszy.<\/p>\n

Plik, kt\u00f3ry nie odpowiada, pozwala na wszystko<\/h2>\n

To, co dzieje si\u0119, gdy robots.txt nie da si\u0119 odczyta\u0107, jest spisane – i biegnie w przeciwne strony zale\u017cnie od przyczyny.<\/p>\n

Je\u015bli plik odpowiada b\u0142\u0119dem po stronie pobieraj\u0105cego – nie znaleziono, usuni\u0119to, zabroniono, cokolwiek z zakresu czterystu – program mo\u017ce potraktowa\u0107 witryn\u0119 jako w pe\u0142ni otwart\u0105. Brak pliku, brak ogranicze\u0144. To rozs\u0105dne: wi\u0119kszo\u015b\u0107 witryn nie ma robots.txt w og\u00f3le, a wymaganie go przed jakimkolwiek pobraniem sparali\u017cowa\u0142oby sie\u0107.<\/p>\n

Je\u015bli natomiast zawiedzie serwer – pi\u0119\u0107setka, przekroczony czas – program powinien potraktowa\u0107 witryn\u0119 jako w pe\u0142ni zamkni\u0119t\u0105, przynajmniej na jaki\u015b czas. R\u00f3wnie\u017c rozs\u0105dne: zepsuty serwer nie jest listem \u017celaznym, a zbi\u00f3r regu\u0142, kt\u00f3ry znikn\u0105\u0142 na godzin\u0119, nie powinien otwiera\u0107 witryny na t\u0119 godzin\u0119.<\/p>\n

Ta sama nieobecno\u015b\u0107 znaczy wi\u0119c rzeczy przeciwne, zale\u017cnie od tego, kt\u00f3ra strona zawiod\u0142a. A witryna odpowiadaj\u0105ca na w\u0142asne robots.txt obron\u0105 przed robotami – odprawiaj\u0105c nietypowych klient\u00f3w kodem 403 albo 418 – w\u0142a\u015bnie t\u0105 obron\u0105 oznajmi\u0142a ka\u017cdemu regu\u0142om pos\u0142usznemu programowi, \u017ce wolno wszystko. Dwie z pi\u0119tnastu sprawdzonych witryn odpowiadaj\u0105 dok\u0142adnie tak.<\/p>\n

Spisane regu\u0142y nie s\u0105 warte nic, je\u015bli plik, kt\u00f3ry je niesie, nie zostaje dostarczony.<\/p>\n

Co da si\u0119 sprawdzi\u0107 w minut\u0119<\/h2>\n

Cztery pytania rozstrzygaj\u0105 stan dowolnej domeny.<\/p>\n

Czy plik odpowiada zwyk\u0142ym 200 i czy to rzeczywi\u015bcie tekst, a nie strona b\u0142\u0119du. Kt\u00f3re z czterech nazw wyst\u0119puj\u0105 i czy ka\u017cda ma w\u0142asn\u0105 grup\u0119. Czy Googlebot jest traktowany osobno od Google-Extended, tak by z decyzji o trenowaniu nie zrobi\u0142a si\u0119 przypadkiem decyzja o widoczno\u015bci. Oraz czy kt\u00f3ra\u015b nazwa pojawia si\u0119 dwukrotnie z r\u00f3\u017cnymi regu\u0142ami.<\/p>\n

Wszystko to jest jawne, dla ka\u017cdej domeny, a odczytanie kosztuje jedno zapytanie. Inspektor indeksowania<\/a> odczytuje robots.txt z w\u0142a\u015bciwym pierwsze\u0144stwem grup i zg\u0142asza, kt\u00f3ra grupa faktycznie rozstrzygn\u0119\u0142a.<\/p>\n

U\u017cyteczna odpowied\u017a to jedno zdanie: czy ten plik m\u00f3wi to, w co wierzy jego autorka – i czy w og\u00f3le zostaje dostarczony.<\/p>\n

\n

\u0179r\u00f3d\u0142a<\/h2>\n