Jede Seite antwortet irgendetwas auf eine Adresse, die es nicht gibt, und was sie antwortet, entscheidet darüber, ob ein kaputter Verweis jemals auffällt. Ein 404 ist ein klares Nein. Ein 200 mit einer freundlichen Seite ist ein Ja, und Suchmaschinen behandeln es als Seite, die in den Index gehört. Diese Prüfung fragt drei Adressen ab, die es nicht geben kann, und vergleicht jede Antwort mit einer Seite, die es gibt.
Von diesem Server: eine Anfrage für die angegebene Seite und drei für zufällige Adressen auf demselben Host, jede mit 256-KB-Bremse. Es werden keine Cookies gesendet, keine Skripte ausgeführt und nichts gespeichert außer dem Zählerstand.
Grenzen, die zu kennen sich lohnt: Die drei Prüfadressen sind zufällig, damit kein Zwischenspeicher sie aus einem früheren Besuch beantworten kann. Weiterleitungen werden festgehalten, aber nicht verfolgt — es zählt die erste Antwort, denn genau die notiert ein Crawler.