Ein User-Agent ist freier Text; alles kann sich Googlebot nennen. Nicht zu fälschen ist die Adresse, von der es kommt. Betreiber veröffentlichen zwei Arten von Beleg: einen Reverse-DNS-Namen unter der eigenen Domain, der auf dieselbe Adresse zurückzeigt, und JSON-Listen der Adressbereiche ihrer Crawler. Diese Prüfung macht beides von diesem Server aus, erneuert die Listen einmal täglich und fragt RDAP, wem das Netz gehört, damit ein Scraper auf einer gemieteten Cloud-Maschine vom Original zu unterscheiden ist.
Von diesem Server aus: eine Reverse-DNS-Abfrage, eine Vorwärtsauflösung des gefundenen Namens, eine RDAP-Anfrage zur Adresse und höchstens einmal täglich die öffentlichen Bereichslisten der Crawler-Betreiber. Die eingegebene Adresse wird nicht kontaktiert. Die Abfrage ist durch reCAPTCHA v3 geschützt; die aufrufende IP-Adresse und die geprüfte Adresse werden eine Stunde lang gespeichert, um die Rate zu begrenzen.
Grenzen, die dazugehören: Nicht jeder Betreiber veröffentlicht etwas (ClaudeBot, CCBot, Bytespider haben weder Listen noch Reverse-DNS-Konventionen, ihre Behauptungen sind also unprüfbar, nicht falsch); die Listen werden täglich erneuert, eine heute ergänzte Adresse kann bis morgen fehlen; der Rechenzentrums-Hinweis kommt aus dem Netznamen und ist eine Heuristik; und eine bestätigte Crawler-Adresse sagt nichts darüber, ob die Anfrage selbst willkommen war.