User-Agent to wolny tekst; wszystko może nazwać się Googlebotem. Nie da się podrobić adresu, z którego przychodzi żądanie. Operatorzy publikują dwa rodzaje dowodu: nazwę reverse DNS we własnej domenie, która rozwiązuje się z powrotem na ten sam adres, oraz listy JSON zakresów adresów używanych przez ich crawlery. To sprawdzenie robi jedno i drugie z tego serwera, odświeża listy raz dziennie i pyta RDAP, do kogo należy sieć, by scraper na wynajętej maszynie w chmurze odróżniał się od oryginału.
Z tego serwera: jedno zapytanie reverse DNS, rozwiązanie w przód znalezionej nazwy, jedno zapytanie RDAP o adres oraz najwyżej raz dziennie publiczne listy zakresów operatorów crawlerów. Podany adres nie jest kontaktowany. Zapytanie chroni reCAPTCHA v3; adres IP wywołującego i sprawdzany adres są przechowywane przez godzinę w celu ograniczenia częstotliwości.
Granice, o których warto wiedzieć: nie każdy operator cokolwiek publikuje (ClaudeBot, CCBot, Bytespider nie mają ani list, ani konwencji reverse DNS, więc ich deklaracje są nieweryfikowalne, a nie fałszywe); listy są odświeżane codziennie, a adres dodany dziś może brakować do jutra; wskazówka o centrum danych pochodzi z nazwy sieci i jest heurystyką; a potwierdzony adres crawlera nic nie mówi o tym, czy samo żądanie było mile widziane.