Über die Indexierbarkeit entscheiden vier Signale, und sie können einander widersprechen, ohne dass etwas kaputt aussieht. Ein Canonical, das woandershin zeigt, gibt die Bewertung an eine andere Adresse ab. Ein noindex hinter einer robots.txt-Sperre wird nie gelesen und wirkt deshalb nie. Hier wird die Seite geholt, ihre robots.txt dazu, und die vier nebeneinandergelegt.
Die Seite und ihre robots.txt werden einmal von diesem Server abgerufen, mit einem schlichten GET und ohne Cookies. Anfragen in private Netze, an Loopback- und Link-local-Adressen werden abgelehnt, auch über Weiterleitungen. Die Abfrage ist über reCAPTCHA v3 geschützt; die aufrufende IP-Adresse und das Ziel werden eine Stunde lang gespeichert, um die Häufigkeit zu begrenzen.