LW IT Solutions

Well-known- und Richtliniendateien-Inspector: security.txt, ads.txt, gpc.json, llms.txt

Eine Domain spricht mit Maschinen über eine Handvoll Dateien unter festen Pfaden. security.txt sagt Sicherheitsforschern, wohin eine Schwachstelle zu melden ist, robots.txt und llms.txt richten sich an Crawler, ads.txt nennt, wer das Werbeinventar verkaufen darf, gpc.json erklärt, dass Global Privacy Control beachtet wird, change-password führt Passwortmanager zur richtigen Seite, und assetlinks sowie die Apple-App-Zuordnung binden Apps an die Seite. Diese Prüfung holt alle dreizehn von diesem Server aus und beurteilt jede nach ihrer eigenen Spezifikation: Eine Datei, die existiert, aber abgelaufen ist, als HTML ausgeliefert wird oder mit 200 und der Startseite statt mit 404 antwortet, ist wissenswert.

Von diesem Server gehen dreizehn Anfragen von je höchstens 200 KB an den eingegebenen Host, jede mit bis zu drei Weiterleitungen. Hosts in privaten, Loopback- und Link-local-Netzen werden abgelehnt. Die Abfrage ist durch reCAPTCHA v3 geschützt; die aufrufende IP-Adresse und das Ziel werden eine Stunde lang gespeichert, um die Rate zu begrenzen.

Grenzen, die dazugehören: Geprüft werden nur die festen Pfade, nicht Dateien, die eine Seite anderswo hält; Dateien werden bei 200 KB abgeschnitten; ein Soft-404 wird an HTML im Inhalt erkannt, was Server übersieht, die mit einer JSON-Fehlerseite antworten; die Signatur der security.txt wird erkannt, aber nicht verifiziert; und das Fehlen der meisten dieser Dateien ist für die meisten Seiten normal, fehlend zählt deshalb als Hinweis, nicht als Mangel.

OTHER TOOLS