Generator für robots.txt und llms.txt mit KI-Crawlern

Merken

Suchcrawler, Trainingscrawler und jene Crawler, die eine Frage gerade jetzt beantworten, sind drei verschiedene Dinge, und eine Sperre für den einen hat mit den anderen nichts zu tun. Dieser Generator hält sie auseinander und benennt, was jede Entscheidung kostet.

Adresse der Seite

Name der Seite

Ein Satz zur Seite, für llms.txt

Wer hereindarf

Pfade, die kein Crawler sehen soll, einer je Zeile