Eine robots.txt wird nicht von oben nach unten gelesen. Jeder Crawler wählt zuerst genau eine Gruppe, und innerhalb dieser Gruppe gewinnt das längste passende Muster, bei Gleichstand das Allow. Dieses Werkzeug wendet die drei Regeln aus RFC 9309 an und nennt zu jeder Kombination die Zeile, die gewonnen hat.
Der Abgleich achtet nicht auf Groß- und Kleinschreibung, und ein Name aus der Datei zählt, wenn die Kennung mit ihm beginnt.
Nur Pfade, beginnend mit einem Schrägstrich. Eine Abfragezeichenfolge darf dabeistehen.
Die Adresse wird einmal von diesem Server abgerufen. Gespeichert wird nur dieser Abruf, für die Stundengrenze.
Acht Abfragen je Stunde. Abgerufen wird nur /robots.txt, höchstens 500 KiB, private Adressbereiche werden abgelehnt.