{"id":10348,"date":"2026-09-04T18:10:00","date_gmt":"2026-09-04T16:10:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/blog\/?p=10348"},"modified":"2026-10-09T23:06:17","modified_gmt":"2026-10-09T21:06:17","slug":"robots-txt-dla-crawlerow-wyszukiwarek-treningowych-i-asystentow-co-daje","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/pl\/digital-marketing-pl\/robots-txt-dla-crawlerow-wyszukiwarek-treningowych-i-asystentow-co-daje\/","title":{"rendered":"robots.txt dla crawler\u00f3w wyszukiwarek, treningowych i asystent\u00f3w: co daje ka\u017cda blokada"},"content":{"rendered":"

Jeden plik, trzy grupy czytelnik\u00f3w niemaj\u0105ce ze sob\u0105 nic wsp\u00f3lnego. Crawler wyszukiwarki pobiera stron\u0119, aby da\u0142o si\u0119 j\u0105 znale\u017a\u0107; crawler trenuj\u0105cy pobiera j\u0105, aby powsta\u0142 z niej model; asystent pobiera j\u0105, bo minut\u0119 temu kto\u015b zada\u0142 pytanie. Rozr\u00f3\u017cni\u0107 t\u0119 tr\u00f3jk\u0119 da si\u0119 wy\u0142\u0105cznie po nazwie, kt\u00f3r\u0105 si\u0119 przedstawia, a blokada jednego nic nie m\u00f3wi o pozosta\u0142ych.<\/p>\n

Dlatego zwyczajowe polecenie – zablokowa\u0107 crawlery AI – nie jest jedn\u0105 decyzj\u0105, lecz trzema, a dwie z nich kosztuj\u0105 co\u015b, czego przy dopisywaniu wiersza rzadko si\u0119 dopowiada.<\/p>\n

\n\"Trzy
Trzy decyzje w robots.txt. Tylko \u015brodkowa jest bez skutk\u00f3w dla widoczno\u015bci.<\/figcaption><\/figure>\n

Trzy rodzaje wykonuj\u0105ce r\u00f3\u017cn\u0105 prac\u0119<\/h2>\n

Crawlery wyszukiwarek – Googlebot<\/code>, Bingbot<\/code> i reszta – buduj\u0105 indeks, z kt\u00f3rego pochodz\u0105 zwyk\u0142e wyniki. Blokada usuwa witryn\u0119 z wyszukiwarki w ci\u0105gu tygodni, dlatego nikt nie robi tego celowo i dlatego zdarza si\u0119 przez przypadek: Disallow: \/<\/code> ze \u015brodowiska testowego, kt\u00f3re przetrwa\u0142o przeprowadzk\u0119.<\/p>\n

Crawlery trenuj\u0105ce – GPTBot<\/code>, Google-Extended<\/code>, ClaudeBot<\/code>, CCBot<\/code> i inne – zbieraj\u0105 materia\u0142, z kt\u00f3rego powstaj\u0105 modele. Pobieraj\u0105 raz i czytaj\u0105 wszystko; nic z tego nie wraca jako odwiedziny.<\/p>\n

Crawlery asystent\u00f3w – OAI-SearchBot<\/code>, ChatGPT-User<\/code>, PerplexityBot<\/code> – pobieraj\u0105 stron\u0119, bo w\u0142a\u015bnie teraz odpowiadaj\u0105 na pytanie. To, co pobior\u0105, cz\u0119sto wraca: jako \u017ar\u00f3d\u0142o, jako odno\u015bnik, jako to zdanie, kt\u00f3re kto\u015b czyta zamiast wyniku wyszukiwania.<\/p>\n

Czemu zapobiega i ile kosztuje ka\u017cda blokada<\/h2>\n\n\n\n\n\n\n\n
Blokowane<\/th>\nZapobiega<\/th>\nKosztuje<\/th>\n<\/tr>\n<\/thead>\n
Wyszukiwarki<\/td>\nNiczemu, czemu warto by zapobiega\u0107.<\/td>\nWitryna znika z Google i Bing.<\/td>\n<\/tr>\n
Trenowanie<\/td>\nTrafieniu nowego materia\u0142u do kolejnego modelu.<\/td>\nNic mierzalnego – ani pozycji, ani widoczno\u015bci.<\/td>\n<\/tr>\n
Asystenci<\/td>\nZacytowaniu witryny w odpowiedzi.<\/td>\nDok\u0142adnie t\u0119 widoczno\u015b\u0107 – wzmiank\u0119 i odno\u015bnik przy niej.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\u015arodkowy wiersz to ten, o kt\u00f3rym da si\u0119 rozstrzygn\u0105\u0107 z zasady i nic za to nie zap\u0142aci\u0107. Dolny to ten, o kt\u00f3rym rozstrzyga si\u0119 przez przypadek, bo nazwy stoj\u0105 w ka\u017cdej kr\u0105\u017c\u0105cej li\u015bcie tu\u017c obok tych od trenowania.<\/p>\n

Google-Extended to nie Googlebot<\/h2>\n

Rozr\u00f3\u017cnienie budz\u0105ce najwi\u0119cej wahania: Google-Extended<\/code> reguluje, czy tre\u015bci s\u0142u\u017c\u0105 do trenowania Gemini i modeli Vertex oraz do ugruntowania odpowiedzi (grounding) w aplikacjach Gemini i w Grounding with Google Search na Vertex AI. Na pobieranie dla wyszukiwarki, na indeksowanie i na pozycj\u0119 nie wp\u0142ywa. Blokada niczego nie zmienia w tym, jak strona radzi sobie w Google, i nie jest to twierdzenie, kt\u00f3remu trzeba zaufa\u0107 – po to ta nazwa istnieje.<\/p>\n

Ten sam podzia\u0142 przebiega przez pozosta\u0142ych dostawc\u00f3w. GPTBot<\/code> to trenowanie; OAI-SearchBot<\/code> zasila indeks wyszukiwania za asystentem; ChatGPT-User<\/code> to pobranie nast\u0119puj\u0105ce, gdy pyta cz\u0142owiek. Zablokowanie wszystkich trzech, bo nazwy wygl\u0105daj\u0105 podobnie, to najcz\u0119stsza droga, kt\u00f3r\u0105 witryna po cichu znika z odpowiedzi, w kt\u00f3rych chcia\u0142a si\u0119 znale\u017a\u0107.<\/p>\n

Wstecz nic nie dzia\u0142a<\/h2>\n

Blokada obowi\u0105zuje od chwili odczytania. To, co ju\u017c pobrano, siedzi w zbiorach z tego zbudowanych, a te nie zagl\u0105daj\u0105 ponownie do robots.txt. Witryna dzia\u0142aj\u0105ca od lat, kt\u00f3ra dzi\u015b dopisuje te wiersze, rozstrzygn\u0119\u0142a o przysz\u0142ych pobraniach, a nie o minionych.<\/p>\n

Warto to powiedzie\u0107 wprost, bo decyzj\u0119 przedstawia si\u0119 cz\u0119sto jako usuni\u0119cie. Nie jest usuni\u0119ciem, lecz p\u0142otem wok\u00f3\u0142 tego, czego jeszcze nie pobrano.<\/p>\n

llms.txt: mapa, a nie regu\u0142a<\/h2>\n

Plik pod \/llms.txt<\/code> wskazuje tre\u015bci, zamiast zabrania\u0107 dost\u0119pu jak robots.txt. To kr\u00f3tki dokument Markdown opisuj\u0105cy witryn\u0119 i wymieniaj\u0105cy jej istotne merytorycznie strony. S\u0142u\u017cy jako spis tre\u015bci do czytania bez korzystania z nawigacji witryny.<\/p>\n

Dwie rzeczy trzeba przy tym wyja\u015bni\u0107. To propozycja, a nie standard, i \u017caden crawler nie ma obowi\u0105zku go szuka\u0107. I niczego nie ogranicza: strona tam wymieniona nie staje si\u0119 przez to dozwolona, a brakuj\u0105ca nie staje si\u0119 chroniona. Napisanie kosztuje dziesi\u0119\u0107 minut i jest warte dok\u0142adnie tyle, co dobry spis tre\u015bci – czyli zupe\u0142nie nic, je\u015bli strony za nim s\u0105 ubogie.<\/p>\n

Czego robots.txt nie potrafi<\/h2>\n

To pro\u015bba, a nie zamek. Ka\u017cdy crawler sam decyduje, czy si\u0119 do niej stosuje, a ci, kt\u00f3rzy to robi\u0105, s\u0105 dok\u0142adnie tymi, kt\u00f3rzy publikuj\u0105 nazw\u0119, pod kt\u00f3r\u0105 da si\u0119 ich zablokowa\u0107. Tego, co plik ignoruje, nic w nim nie dotyczy.<\/p>\n

robots.txt nie wyklucza strony z wynik\u00f3w wyszukiwania. Zablokowana strona, do kt\u00f3rej inni odsy\u0142aj\u0105, nadal mo\u017ce si\u0119 pojawi\u0107, ale bez opisu, poniewa\u017c crawler nie m\u00f3g\u0142 odczyta\u0107 jej tre\u015bci. Wykluczenie strony z indeksu wymaga noindex<\/code>, kt\u00f3re crawler musi mie\u0107 mo\u017cliwo\u015b\u0107 odczyta\u0107. Ochrona prywatnych tre\u015bci wymaga logowania. robots.txt ma w\u0119\u017csze zadanie: kieruje pobieraniem przez crawlery, kt\u00f3re przestrzegaj\u0105 jego regu\u0142.<\/p>\n

Trzy szczeg\u00f3\u0142y kryj\u0105ce si\u0119 za nazwami<\/h2>\n

Google-Extended nie da si\u0119 zablokowa\u0107 na serwerze<\/h3>\n

Google-Extended nie ma w\u0142asnego ci\u0105gu user agent. Dokumentacja crawler\u00f3w Google podaje, \u017ce pobieranie odbywa si\u0119 z u\u017cyciem istniej\u0105cych user agent\u00f3w Google, a nazwa w robots.txt pe\u0142ni wy\u0142\u0105cznie funkcj\u0119 steruj\u0105c\u0105. Pod t\u0105 nazw\u0105 nie dociera wi\u0119c \u017cadne \u017c\u0105danie. Regu\u0142a zapory lub serwera oparta na niej niczego nie \u0142apie, a regu\u0142a wymierzona w tego, kto faktycznie pobiera, czyli w Googlebota, usuwa witryn\u0119 z wyszukiwarki. W kwestii trenowania i groundingu po stronie Google jedyn\u0105 d\u017awigni\u0105 pozostaje wpis w robots.txt.<\/p>\n

CCBot zasila publiczne archiwum<\/h3>\n

CCBot to crawler Common Crawl. Przedstawia si\u0119 jako CCBot\/2.0<\/code> i przestrzega robots.txt. Zebrane dane le\u017c\u0105 w Amazon S3 i s\u0105 publikowane jako otwarty zbi\u00f3r danych z mo\u017cliwie najmniejszymi ograniczeniami. To, co pobierze CCBot, nie zostaje wi\u0119c u jednego dostawcy modeli, lecz jest dost\u0119pne dla ka\u017cdego, kto pobierze archiwum. Blokada crawler\u00f3w trenuj\u0105cych poszczeg\u00f3lnych dostawc\u00f3w przy otwartym CCBot zostawia t\u0119 okr\u0119\u017cn\u0105 drog\u0119 otwart\u0105.<\/p>\n

Nazwa podana dwa razy jest scalana, a nie losowana<\/h3>\n

Pliki rozrastaj\u0105ce si\u0119 latami czasem wymieniaj\u0105 ten sam crawler w dw\u00f3ch grupach. RFC 9309 rozstrzyga ten przypadek: crawlery dopasowuj\u0105 nazw\u0119 bez wzgl\u0119du na wielko\u015b\u0107 liter, a je\u015bli pasuje wi\u0119cej ni\u017c jedna grupa, ich regu\u0142y zostaj\u0105 po\u0142\u0105czone w jedn\u0105 grup\u0119. W tej scalonej grupie, jak w ka\u017cdej innej, decyduje najd\u0142u\u017csza pasuj\u0105ca regu\u0142a. Dwie grupy dla GPTBot<\/code>, jedna z Disallow: \/<\/code>, druga z Allow: \/blog\/<\/code>, zostawiaj\u0105 zatem \/blog\/<\/code> otwarte. Przy dopisywaniu grupy blokuj\u0105cej zamiar m\u00f3g\u0142 by\u0107 inny. Wyszukanie w pliku ka\u017cdej nazwy crawlera pokazuje takie powt\u00f3rzenia w kilka sekund.<\/p>\n

\n

Pytania i odpowiedzi<\/h2>\n

Czy regu\u0142a pod User-agent: * obowi\u0105zuje tak\u017ce crawlera, kt\u00f3ry ma w pliku w\u0142asn\u0105 grup\u0119?<\/h3>\n

Nie, i w\u0142a\u015bnie na tym \u0142atwo potyka si\u0119 dopisywanie nazw crawler\u00f3w AI. Zgodnie z RFC 9309 crawler stosuje si\u0119 do grupy nosz\u0105cej jego nazw\u0119, a do grupy pod User-agent: *<\/code> tylko wtedy, gdy takiej grupy nie ma. Obie grupy nie s\u0105 \u0142\u0105czone. Osobna grupa dla OAI-SearchBot z Allow: \/<\/code>, kt\u00f3ra ma wprost dopu\u015bci\u0107 asystent\u00f3w, znosi wi\u0119c dla tego crawlera tak\u017ce wszystkie blokady z grupy *, na przyk\u0142ad t\u0119 dla panelu administracyjnego.<\/p>\n

Regu\u0142y, kt\u00f3re maj\u0105 dotyczy\u0107 wszystkich, trzeba zatem powt\u00f3rzy\u0107 w ka\u017cdej nazwanej grupie. W obr\u0119bie grupy rozstrzyga potem najd\u0142u\u017csza pasuj\u0105ca regu\u0142a, a przy remisie wed\u0142ug RFC powinna wygra\u0107 Allow. Dzi\u0119ki temu da si\u0119 zablokowa\u0107 witryn\u0119 z wyj\u0105tkiem jednego katalogu bez wyliczania ka\u017cdej \u015bcie\u017cki z osobna.<\/p>\n

Po czym pozna\u0107, \u017ce pobranie naprawd\u0119 pochodzi od Googlebota lub ChatGPT-User, a nie tylko u\u017cywa tej nazwy?<\/h3>\n

Po samej nazwie nie, bo nazw\u0119 w nag\u0142\u00f3wku User-Agent ka\u017cdy nadawca mo\u017ce wpisa\u0107 dowolnie. Wiarygodne jest dopiero pochodzenie \u017c\u0105dania, a da si\u0119 je ustali\u0107 na dwa sposoby:<\/p>\n

    \n
  1. Odwrotne zapytanie DNS i zapytanie kontrolne w prz\u00f3d. Dla adresu IP sprawdza si\u0119 nazw\u0119 hosta; w przypadku crawler\u00f3w Google ko\u0144czy si\u0119 ona na googlebot.com, google.com lub googleusercontent.com. Nast\u0119pnie ta sama nazwa hosta musi wskazywa\u0107 z powrotem na ten sam adres, w przeciwnym razie wpis jest sfa\u0142szowany. T\u0119 procedur\u0119 opisuje samo Google.<\/li>\n
  2. Opublikowane zakresy adres\u00f3w. Kilku dostawc\u00f3w, w tym Google i OpenAI, publikuje zakresy IP swoich crawler\u00f3w jako listy do odczytu maszynowego, z podzia\u0142em na rodzaje crawler\u00f3w. Por\u00f3wnanie z nimi da si\u0119 zautomatyzowa\u0107 i nie wymaga zapytania DNS przy ka\u017cdym \u017c\u0105daniu.<\/li>\n<\/ol>\n

    Dla robots.txt nie ma to znaczenia: pobranie, kt\u00f3re podaje si\u0119 za Googlebota i ignoruje plik, i tak nie podlega niczemu, co w nim stoi. Sprawdzenie zyskuje wag\u0119, gdy blokada ma by\u0107 egzekwowana na serwerze, na przyk\u0142ad w firewallu. Powinno wtedy sta\u0107 przed ka\u017cd\u0105 regu\u0142\u0105 rozstrzygaj\u0105c\u0105 po nazwie, \u017ceby wyj\u0105tek dla prawdziwych crawler\u00f3w wyszukiwarek nie sta\u0142 otworem przed ka\u017cdym, kto tak si\u0119 nazwie.<\/p>\n

    Co si\u0119 dzieje, gdy sam plik robots.txt jest nieosi\u0105galny albo zwraca b\u0142\u0105d?<\/h3>\n

    To zale\u017cy od kodu stanu, a oba przypadki dzia\u0142aj\u0105 w przeciwnych kierunkach. Wed\u0142ug RFC 9309 odpowied\u017a z zakresu od 400 do 499 oznacza brak pliku: crawler mo\u017ce pobiera\u0107 wszystko. B\u0142\u0105d serwera z zakresu od 500 do 599 lub awaria sieci oznacza natomiast pe\u0142n\u0105 blokad\u0119; dopiero gdy taki stan trwa d\u0142ugo, a RFC podaje jako przyk\u0142ad 30 dni, crawler mo\u017ce si\u0119gn\u0105\u0107 po kopi\u0119 z pami\u0119ci podr\u0119cznej albo potraktowa\u0107 plik jako nieistniej\u0105cy.<\/p>\n

    Wynikaj\u0105 z tego dwie pu\u0142apki w pozosta\u0142ej konfiguracji. Regu\u0142a w konfiguracji serwera, kt\u00f3ra przez przypadek obejmuje tak\u017ce robots.txt i odpowiada tam kodem 403, 404 albo 410, znosi wszystkie blokady z pliku. Przeci\u0105\u017cony serwer, kt\u00f3ry na zapytanie o robots.txt odpowiada kodem 503, trzyma z kolei z dala tak\u017ce crawlery wyszukiwarek. Poza tym ka\u017cda zmiana dzia\u0142a dopiero wtedy, gdy crawler pobierze plik na nowo; RFC zaleca, by nie korzysta\u0107 z kopii z pami\u0119ci podr\u0119cznej d\u0142u\u017cej ni\u017c 24 godziny.<\/p>\n

    Czy blokada Google-Extended dzia\u0142a tak\u017ce na AI Overviews w wyszukiwarce Google?<\/h3>\n

    Nie. AI Overviews s\u0105 cz\u0119\u015bci\u0105 wyszukiwarki i opieraj\u0105 si\u0119 na tym, co pobra\u0142 Googlebot, a na to Google-Extended nie wp\u0142ywa. To, ile ze strony si\u0119 tam pojawi, da si\u0119 ograniczy\u0107 tylko ustawieniami fragment\u00f3w, takimi jak nosnippet czy max-snippet, albo ca\u0142kiem wykluczy\u0107 przez noindex, a oba sposoby obowi\u0105zuj\u0105 wtedy tak\u017ce w zwyk\u0142ym wyniku wyszukiwania.<\/p>\n<\/div>\n

    \n

    \u0179r\u00f3d\u0142a<\/h2>\n