robots.txt dla crawlerów wyszukiwarek, treningowych i asystentów: co daje każda blokada

robots.txt określa preferencje dotyczące automatycznego pobierania. Indeksowanie, trenowanie modeli i pobieranie na żądanie użytkownika to różne cele, ale dostawca może wykorzystać jedno pobranie do kilku dozwolonych celów. Nazwa User-Agent opisuje deklarowaną rolę, bez potwierdzania pochodzenia żądania.

Przydatna reguła zaczyna się od oczekiwanego wyniku: zachowania widoczności w wyszukiwaniu, wykluczenia określonych zastosowań treningowych albo ograniczenia bezpośrednich pobrań. Właściwe identyfikatory produktów i środki techniczne są różne.

Cele i identyfikatory crawlerów

Googlebot i Bingbot zbierają treści dla wyszukiwarek. Blokada może zatrzymać przetwarzanie nowych treści i pogorszyć widoczność, lecz nie gwarantuje usunięcia wyników w ciągu kilku tygodni. Znane adresy URL mogą pozostać w indeksie. Ograniczenie nieprzydatnych ścieżek indeksowania bywa celowe; ogólne Disallow: / w witrynie produkcyjnej wymaga dokładnej kontroli.

GPTBot i ClaudeBot wspierają rozwój modeli. CCBot tworzy publiczny zbiór Common Crawl, wykorzystywany także poza treningiem. Google-Extended jest identyfikatorem sterującym określonymi zastosowaniami treningowymi i groundingiem, a nie osobnym crawlerem. Takie usługi nie muszą pobierać każdej strony ani ograniczać pobierania do jednego razu.

OAI-SearchBot, PerplexityBot i Claude-SearchBot wspierają usługi wyszukiwania. ChatGPT-User, Perplexity-User i Claude-User obsługują pobrania na żądanie użytkownika. Według OpenAI reguły robots.txt mogą nie dotyczyć ChatGPT-User; według Perplexity narzędzie pobierające na żądanie zwykle ignoruje te reguły. Anthropic deklaruje natomiast respektowanie robots.txt przez własne boty. Zachowanie zależy więc od dostawcy.

Co może zmienić blokada

Blokada identyfikatora przeznaczonego tylko do treningu nie musi blokować wyszukiwania. Stwierdzenie „bez skutków dla widoczności” jest jednak zbyt szerokie: Google-Extended steruje również groundingiem. Blokada nie gwarantuje ponadto, że żadna kopia z innego źródła nie trafi do żadnego zbioru treningowego.

Google-Extended to nie Googlebot

Google-Extended steruje wykorzystaniem pobranych treści do przyszłych generacji Gemini obsługujących Gemini Apps i Vertex AI API for Gemini oraz do groundingu w Gemini Apps i Grounding with Google Search na Vertex AI. Grounding uzupełnia odpowiedź pobranymi informacjami. Google deklaruje brak wpływu tego identyfikatora na obecność i pozycję w Google Search; deklaracja nie obejmuje wszystkich produktów AI Google.

OpenAI oddziela preferencję treningową dla GPTBot od preferencji wyszukiwania dla OAI-SearchBot. Wykluczenie OAI-SearchBot według OpenAI usuwa witrynę z odpowiedzi wyszukiwania ChatGPT, chociaż odnośniki nawigacyjne mogą pozostać. ChatGPT-User nie steruje obecnością w wyszukiwaniu. Dozwolone pobranie nie gwarantuje cytowania ani odwiedzin.

Granice kontroli wstecznej

Nowe reguły działają po pobraniu i przetworzeniu pliku przez usługę. Kopie w pamięci podręcznej mogą opóźnić zmianę. Nowe Disallow nie jest poleceniem usunięcia zebranych wcześniej archiwów ani informacji z już wytrenowanego modelu.

Żądania usunięcia danych i kontrola dostępu są osobnymi środkami. Sam robots.txt nie gwarantuje wstecznego usunięcia danych, również w przypadku kopii uzyskanych od stron trzecich.

llms.txt jako przewodnik po treści

llms.txt udostępnia redakcyjnie wybrany przewodnik Markdown po przydatnych treściach. Aktualizacja propozycji z sierpnia 2026 r. obsługuje także pliki poniżej katalogu głównego witryny, na przykład /docs/llms.txt dla tej ścieżki.

Propozycja nie zobowiązuje każdego crawlera do korzystania z pliku ani nie ustanawia uprawnień dostępu. Wymienienie adresu URL nie udziela licencji i nie zastępuje robots.txt, logowania ani innych zabezpieczeń. Przewodnik wymaga poprawnych odnośników i utrzymania; utworzenie pliku nie gwarantuje lepszej pozycji w wyszukiwaniu.

Ograniczenia robots.txt

robots.txt jest protokołem dla współpracujących klientów automatycznych, a nie mechanizmem kontroli dostępu. Klienci łamiący reguły oraz niektóre usługi pobierające na żądanie nadal mogą żądać publicznych treści. Treści poufne wymagają rzeczywistej weryfikacji uprawnień.

Zablokowany URL nadal może pojawić się w wynikach bez opisu pobranego ze strony. W obsługujących tę dyrektywę wyszukiwarkach noindex żąda wykluczenia z indeksowania, ale crawler musi mieć możliwość pobrania instrukcji. Jednoczesna blokada pobierania może uniemożliwić wykrycie nowo dodanego noindex.

Istotne szczegóły techniczne

Google-Extended nie jest identyfikatorem HTTP

Google-Extended nie ma osobnego HTTP User-Agent. Google używa istniejących identyfikatorów crawlerów i odczytuje token jako preferencję użycia w produktach. Reguła serwera dopasowująca wyłącznie nazwę „Google-Extended” nie realizuje więc tej preferencji. Blokada faktycznego crawlera może równocześnie wpłynąć na wyszukiwanie i nie jest równoważnym zamiennikiem.

CCBot zasila publiczne archiwum

Common Crawl identyfikuje crawler jako CCBot/2.0 i dokumentuje respektowanie robots.txt. Dane są dostępne przez Amazon S3 na warunkach Common Crawl. Zbiór stanowi próbkę sieci, a nie gwarantowane pełne archiwum każdej witryny. Blokady crawlerów pojedynczych dostawców modeli pozostawiają tę odrębną drogę dystrybucji otwartą, dopóki nie obejmie jej osobna reguła.

Powtórzone grupy łączą reguły

RFC 9309 łączy grupy pasujące do tego samego identyfikatora produktu bez rozróżniania wielkości liter. W połączonych regułach wygrywa najbardziej szczegółowa pasująca ścieżka. Dwie grupy GPTBot z Disallow: / i Allow: /blog/ dopuszczają więc /blog/. Powtórzone grupy wymagają wspólnej kontroli.