{"id":10346,"date":"2026-09-04T12:30:00","date_gmt":"2026-09-04T10:30:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/blog\/?p=10346"},"modified":"2026-08-31T14:40:22","modified_gmt":"2026-08-31T12:40:22","slug":"drei-arten-crawler-eine-robots-txt","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/drei-arten-crawler-eine-robots-txt\/","title":{"rendered":"Drei Arten Crawler, eine robots.txt"},"content":{"rendered":"

Eine Datei, drei Leserschaften, die nichts miteinander zu tun haben. Ein Suchcrawler holt eine Seite, damit sie gefunden wird; ein Trainingscrawler holt sie, damit daraus ein Modell entsteht; ein Assistent holt sie, weil vor einer Minute jemand eine Frage gestellt hat. Auseinanderhalten lassen sich die drei allein an dem Namen, mit dem sie sich melden, und eine Sperre f\u00fcr den einen sagt nichts \u00fcber die anderen.<\/p>\n

Deshalb ist die \u00fcbliche Anweisung – die KI-Crawler sperren – keine Entscheidung, sondern drei, und zwei davon kosten etwas, das beim Hinzuf\u00fcgen der Zeile selten dazugesagt wird.<\/p>\n

\n\"Drei
Drei Tore, drei Entscheidungen. Nur die mittlere ist ohne Folgen f\u00fcr die Sichtbarkeit.<\/figcaption><\/figure>\n

Drei Arten, die verschiedene Arbeit tun<\/h2>\n

Suchcrawler – Googlebot<\/code>, Bingbot<\/code> und der Rest – bauen den Index, aus dem gew\u00f6hnliche Ergebnisse stammen. Eine Sperre nimmt die Seite binnen Wochen aus der Suche, weshalb es niemand absichtlich tut und weshalb es aus Versehen geschieht: ein Disallow: \/<\/code> aus der Testumgebung, das den Umzug \u00fcberlebt hat.<\/p>\n

Trainingscrawler – GPTBot<\/code>, Google-Extended<\/code>, ClaudeBot<\/code>, CCBot<\/code> und andere – sammeln Material, aus dem Modelle entstehen. Sie holen einmal und lesen alles; nichts davon kommt als Besuch zur\u00fcck.<\/p>\n

Assistenten-Crawler – OAI-SearchBot<\/code>, ChatGPT-User<\/code>, PerplexityBot<\/code> – holen eine Seite, weil gerade eine Frage beantwortet wird. Was sie holen, kommt oft zur\u00fcck: als Quellenangabe, als Verweis, als jener Satz, den jemand statt des Suchergebnisses liest.<\/p>\n

Was jede Sperre verhindert und kostet<\/h2>\n\n\n\n\n\n\n\n
Gesperrt wird<\/th>\nVerhindert<\/th>\nKostet<\/th>\n<\/tr>\n<\/thead>\n
Suche<\/td>\nNichts, was zu verhindern w\u00e4re.<\/td>\nDie Seite verschwindet aus Google und Bing.<\/td>\n<\/tr>\n
Training<\/td>\nDass neues Material ins n\u00e4chste Modell gelangt.<\/td>\nNichts Messbares – weder Platzierung noch Sichtbarkeit.<\/td>\n<\/tr>\n
Assistenten<\/td>\nDass die Seite in einer Antwort zitiert wird.<\/td>\nGenau diese Sichtbarkeit – die Nennung und den Verweis dazu.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Die mittlere Zeile ist die, \u00fcber die sich aus Grundsatz entscheiden l\u00e4sst, ohne daf\u00fcr zu bezahlen. Die untere ist die, \u00fcber die aus Versehen entschieden wird, weil die Kennungen in jeder herumgereichten Liste direkt neben denen f\u00fcrs Training stehen.<\/p>\n

Google-Extended ist nicht Googlebot<\/h2>\n

Die Unterscheidung, die das meiste Z\u00f6gern verursacht: Google-Extended<\/code> regelt, ob Inhalte f\u00fcr das Training von Gemini und der Vertex-Modelle verwendet werden. Auf das Erfassen f\u00fcr die Suche, auf die Indexierung und auf die Platzierung wirkt sie nicht. Eine Sperre \u00e4ndert nichts daran, wie eine Seite bei Google abschneidet, und das ist keine Behauptung, die Vertrauen verlangt – daf\u00fcr ist die Kennung da.<\/p>\n

Dieselbe Trennung zieht sich durch die anderen Anbieter. GPTBot<\/code> ist Training; OAI-SearchBot<\/code> speist den Suchindex hinter dem Assistenten; ChatGPT-User<\/code> ist der Abruf, der geschieht, wenn ein Mensch fragt. Alle drei zu sperren, weil die Namen \u00e4hnlich aussehen, ist der h\u00e4ufigste Weg, auf dem eine Seite stillschweigend aus den Antworten verschwindet, in denen sie stehen wollte.<\/p>\n

R\u00fcckwirkend geht nichts<\/h2>\n

Eine Sperre gilt ab dem Augenblick, in dem sie gelesen wird. Was bereits geholt wurde, sitzt in Sammlungen, die daraus entstanden sind, und die schauen nicht noch einmal in die robots.txt. Eine Seite, die seit Jahren online ist und heute die Zeilen erg\u00e4nzt, hat \u00fcber k\u00fcnftige Abrufe entschieden und nicht \u00fcber vergangene.<\/p>\n

Das geh\u00f6rt deutlich gesagt, weil die Entscheidung oft als Entfernen dargestellt wird. Sie ist kein Entfernen, sondern ein Zaun um das, was noch nicht geholt wurde.<\/p>\n

llms.txt: eine Karte, keine Regel<\/h2>\n

Die Datei unter \/llms.txt<\/code> ist in ihrer Absicht das Gegenteil der robots.txt: sie verbietet nicht, sie weist hin. Ein kurzes Markdown-Dokument, das benennt, worum es auf der Seite geht und welche Seiten den Gehalt tragen – ein Inhaltsverzeichnis f\u00fcr etwas, das ohne Navigation gelesen wird.<\/p>\n

Zwei Dinge geh\u00f6ren dazu klargestellt. Es ist ein Vorschlag und kein Standard, und kein Crawler ist verpflichtet, danach zu suchen. Und es beschr\u00e4nkt nichts: eine dort aufgef\u00fchrte Seite ist damit nicht erlaubt, und eine fehlende ist damit nicht gesch\u00fctzt. Das Schreiben kostet zehn Minuten und ist genau so viel wert wie ein gutes Inhaltsverzeichnis – n\u00e4mlich gar nichts, wenn die Seiten dahinter d\u00fcnn sind.<\/p>\n

Was robots.txt nicht leistet<\/h2>\n

Sie ist eine Bitte und kein Schloss. Jeder Crawler entscheidet selbst, ob er sich daran h\u00e4lt, und jene, die es tun, sind genau die, die eine Kennung ver\u00f6ffentlichen, unter der sich eine Sperre setzen l\u00e4sst. Was die Datei ignoriert, ist von nichts darin betroffen.<\/p>\n

Und sie h\u00e4lt eine Seite nicht aus den Suchergebnissen heraus. Eine gesperrte Seite, auf die andere verweisen, kann trotzdem erscheinen, nur ohne Beschreibung, weil der Crawler nicht lesen durfte, was darauf steht. Etwas aus dem Index zu halten verlangt ein noindex<\/code> – wof\u00fcr der Crawler hineind\u00fcrfen muss, um es zu lesen – und etwas privat zu halten verlangt eine Anmeldung. Die robots.txt steht unterhalb von beidem und taugt gut f\u00fcr genau das, was sie ist: Verkehrsf\u00fchrung f\u00fcr die Crawler, die sich f\u00fchren lassen.<\/p>\n","protected":false},"excerpt":{"rendered":"

Suche, Training und Assistenten lesen dieselbe Datei aus v\u00f6llig verschiedenen Gr\u00fcnden. Was jede Sperre verhindert, was sie kostet und warum Google-Extended nichts mit der Platzierung zu tun hat.<\/p>\n","protected":false},"author":1,"featured_media":13873,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[13],"tags":[92026,92071],"class_list":["post-10346","post","type-post","status-publish","format-standard","hentry","category-digital-marketing-de","tag-marketing-cyfrowy-pl-de","tag-web-security-de"],"yoast_head":"\nDrei Arten Crawler, eine robots.txt - Lukas Wojcik - Blog<\/title>\n<meta name=\"description\" content=\"GPTBot, Google-Extended, OAI-SearchBot: welcher Crawler was tut, was eine Sperre wirklich bewirkt und warum llms.txt eine Karte ist und keine Regel.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/drei-arten-crawler-eine-robots-txt\/\" \/>\n<meta property=\"og:locale\" content=\"en_US\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Drei Arten Crawler, eine robots.txt - Lukas Wojcik - Blog\" \/>\n<meta property=\"og:description\" content=\"GPTBot, Google-Extended, OAI-SearchBot: welcher Crawler was tut, was eine Sperre wirklich bewirkt und warum llms.txt eine Karte ist und keine Regel.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/drei-arten-crawler-eine-robots-txt\/\" \/>\n<meta property=\"og:site_name\" content=\"Lukas Wojcik - Blog\" \/>\n<meta property=\"article:published_time\" content=\"2026-09-04T10:30:00+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.lukaswojcik.com\/blog\/wp-content\/uploads\/2026\/09\/hero-10346-drei-arten-crawler-eine-robots-txt-g.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1200\" \/>\n\t<meta property=\"og:image:height\" content=\"630\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"luky\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Written by\" \/>\n\t<meta name=\"twitter:data1\" content=\"luky\" \/>\n\t<meta name=\"twitter:label2\" content=\"Est. reading time\" \/>\n\t<meta name=\"twitter:data2\" content=\"4 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/de\\\/digital-marketing-de\\\/drei-arten-crawler-eine-robots-txt\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/de\\\/digital-marketing-de\\\/drei-arten-crawler-eine-robots-txt\\\/\"},\"author\":{\"name\":\"luky\",\"@id\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/#\\\/schema\\\/person\\\/895f7604f9b6b71aad9bba33af28d0f9\"},\"headline\":\"Drei Arten Crawler, eine robots.txt\",\"datePublished\":\"2026-09-04T10:30:00+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/de\\\/digital-marketing-de\\\/drei-arten-crawler-eine-robots-txt\\\/\"},\"wordCount\":795,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/#\\\/schema\\\/person\\\/895f7604f9b6b71aad9bba33af28d0f9\"},\"image\":{\"@id\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/de\\\/digital-marketing-de\\\/drei-arten-crawler-eine-robots-txt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/wp-content\\\/uploads\\\/2026\\\/09\\\/hero-10346-drei-arten-crawler-eine-robots-txt-g.png\",\"keywords\":[\"Digital Marketing\",\"Web Security\"],\"articleSection\":[\"Digital Marketing\"],\"inLanguage\":\"en-US\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/de\\\/digital-marketing-de\\\/drei-arten-crawler-eine-robots-txt\\\/#respond\"]}]},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/de\\\/digital-marketing-de\\\/drei-arten-crawler-eine-robots-txt\\\/\",\"url\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/de\\\/digital-marketing-de\\\/drei-arten-crawler-eine-robots-txt\\\/\",\"name\":\"Drei Arten Crawler, eine robots.txt - Lukas Wojcik - Blog\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/de\\\/digital-marketing-de\\\/drei-arten-crawler-eine-robots-txt\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/de\\\/digital-marketing-de\\\/drei-arten-crawler-eine-robots-txt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/wp-content\\\/uploads\\\/2026\\\/09\\\/hero-10346-drei-arten-crawler-eine-robots-txt-g.png\",\"datePublished\":\"2026-09-04T10:30:00+00:00\",\"description\":\"GPTBot, Google-Extended, OAI-SearchBot: welcher Crawler was tut, was eine Sperre wirklich bewirkt und warum llms.txt eine Karte ist und keine Regel.\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/de\\\/digital-marketing-de\\\/drei-arten-crawler-eine-robots-txt\\\/#breadcrumb\"},\"inLanguage\":\"en-US\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/de\\\/digital-marketing-de\\\/drei-arten-crawler-eine-robots-txt\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"en-US\",\"@id\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/de\\\/digital-marketing-de\\\/drei-arten-crawler-eine-robots-txt\\\/#primaryimage\",\"url\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/wp-content\\\/uploads\\\/2026\\\/09\\\/hero-10346-drei-arten-crawler-eine-robots-txt-g.png\",\"contentUrl\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/wp-content\\\/uploads\\\/2026\\\/09\\\/hero-10346-drei-arten-crawler-eine-robots-txt-g.png\",\"width\":1200,\"height\":630,\"caption\":\"Drei Arten Crawler, eine robots.txt\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/de\\\/digital-marketing-de\\\/drei-arten-crawler-eine-robots-txt\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Drei Arten Crawler, eine robots.txt\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/#website\",\"url\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/\",\"name\":\"Lukas Wojcik - Blog\",\"description\":\"\",\"publisher\":{\"@id\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/#\\\/schema\\\/person\\\/895f7604f9b6b71aad9bba33af28d0f9\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"en-US\"},{\"@type\":[\"Person\",\"Organization\"],\"@id\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/#\\\/schema\\\/person\\\/895f7604f9b6b71aad9bba33af28d0f9\",\"name\":\"luky\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"en-US\",\"@id\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/wp-content\\\/uploads\\\/2026\\\/07\\\/lw-x2.jpg\",\"url\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/wp-content\\\/uploads\\\/2026\\\/07\\\/lw-x2.jpg\",\"contentUrl\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/wp-content\\\/uploads\\\/2026\\\/07\\\/lw-x2.jpg\",\"width\":424,\"height\":636,\"caption\":\"luky\"},\"logo\":{\"@id\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/wp-content\\\/uploads\\\/2026\\\/07\\\/lw-x2.jpg\"},\"sameAs\":[\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\"],\"url\":\"https:\\\/\\\/www.lukaswojcik.com\\\/blog\\\/author\\\/luky\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Drei Arten Crawler, eine robots.txt - Lukas Wojcik - Blog","description":"GPTBot, Google-Extended, OAI-SearchBot: welcher Crawler was tut, was eine Sperre wirklich bewirkt und warum llms.txt eine Karte ist und keine Regel.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/drei-arten-crawler-eine-robots-txt\/","og_locale":"en_US","og_type":"article","og_title":"Drei Arten Crawler, eine robots.txt - Lukas Wojcik - Blog","og_description":"GPTBot, Google-Extended, OAI-SearchBot: welcher Crawler was tut, was eine Sperre wirklich bewirkt und warum llms.txt eine Karte ist und keine Regel.","og_url":"https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/drei-arten-crawler-eine-robots-txt\/","og_site_name":"Lukas Wojcik - Blog","article_published_time":"2026-09-04T10:30:00+00:00","og_image":[{"width":1200,"height":630,"url":"https:\/\/www.lukaswojcik.com\/blog\/wp-content\/uploads\/2026\/09\/hero-10346-drei-arten-crawler-eine-robots-txt-g.png","type":"image\/png"}],"author":"luky","twitter_card":"summary_large_image","twitter_misc":{"Written by":"luky","Est. reading time":"4 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/drei-arten-crawler-eine-robots-txt\/#article","isPartOf":{"@id":"https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/drei-arten-crawler-eine-robots-txt\/"},"author":{"name":"luky","@id":"https:\/\/www.lukaswojcik.com\/blog\/#\/schema\/person\/895f7604f9b6b71aad9bba33af28d0f9"},"headline":"Drei Arten Crawler, eine robots.txt","datePublished":"2026-09-04T10:30:00+00:00","mainEntityOfPage":{"@id":"https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/drei-arten-crawler-eine-robots-txt\/"},"wordCount":795,"commentCount":0,"publisher":{"@id":"https:\/\/www.lukaswojcik.com\/blog\/#\/schema\/person\/895f7604f9b6b71aad9bba33af28d0f9"},"image":{"@id":"https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/drei-arten-crawler-eine-robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/www.lukaswojcik.com\/blog\/wp-content\/uploads\/2026\/09\/hero-10346-drei-arten-crawler-eine-robots-txt-g.png","keywords":["Digital Marketing","Web Security"],"articleSection":["Digital Marketing"],"inLanguage":"en-US","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/drei-arten-crawler-eine-robots-txt\/#respond"]}]},{"@type":"WebPage","@id":"https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/drei-arten-crawler-eine-robots-txt\/","url":"https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/drei-arten-crawler-eine-robots-txt\/","name":"Drei Arten Crawler, eine robots.txt - Lukas Wojcik - Blog","isPartOf":{"@id":"https:\/\/www.lukaswojcik.com\/blog\/#website"},"primaryImageOfPage":{"@id":"https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/drei-arten-crawler-eine-robots-txt\/#primaryimage"},"image":{"@id":"https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/drei-arten-crawler-eine-robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/www.lukaswojcik.com\/blog\/wp-content\/uploads\/2026\/09\/hero-10346-drei-arten-crawler-eine-robots-txt-g.png","datePublished":"2026-09-04T10:30:00+00:00","description":"GPTBot, Google-Extended, OAI-SearchBot: welcher Crawler was tut, was eine Sperre wirklich bewirkt und warum llms.txt eine Karte ist und keine Regel.","breadcrumb":{"@id":"https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/drei-arten-crawler-eine-robots-txt\/#breadcrumb"},"inLanguage":"en-US","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/drei-arten-crawler-eine-robots-txt\/"]}]},{"@type":"ImageObject","inLanguage":"en-US","@id":"https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/drei-arten-crawler-eine-robots-txt\/#primaryimage","url":"https:\/\/www.lukaswojcik.com\/blog\/wp-content\/uploads\/2026\/09\/hero-10346-drei-arten-crawler-eine-robots-txt-g.png","contentUrl":"https:\/\/www.lukaswojcik.com\/blog\/wp-content\/uploads\/2026\/09\/hero-10346-drei-arten-crawler-eine-robots-txt-g.png","width":1200,"height":630,"caption":"Drei Arten Crawler, eine robots.txt"},{"@type":"BreadcrumbList","@id":"https:\/\/www.lukaswojcik.com\/blog\/de\/digital-marketing-de\/drei-arten-crawler-eine-robots-txt\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/www.lukaswojcik.com\/blog\/"},{"@type":"ListItem","position":2,"name":"Drei Arten Crawler, eine robots.txt"}]},{"@type":"WebSite","@id":"https:\/\/www.lukaswojcik.com\/blog\/#website","url":"https:\/\/www.lukaswojcik.com\/blog\/","name":"Lukas Wojcik - Blog","description":"","publisher":{"@id":"https:\/\/www.lukaswojcik.com\/blog\/#\/schema\/person\/895f7604f9b6b71aad9bba33af28d0f9"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.lukaswojcik.com\/blog\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"en-US"},{"@type":["Person","Organization"],"@id":"https:\/\/www.lukaswojcik.com\/blog\/#\/schema\/person\/895f7604f9b6b71aad9bba33af28d0f9","name":"luky","image":{"@type":"ImageObject","inLanguage":"en-US","@id":"https:\/\/www.lukaswojcik.com\/blog\/wp-content\/uploads\/2026\/07\/lw-x2.jpg","url":"https:\/\/www.lukaswojcik.com\/blog\/wp-content\/uploads\/2026\/07\/lw-x2.jpg","contentUrl":"https:\/\/www.lukaswojcik.com\/blog\/wp-content\/uploads\/2026\/07\/lw-x2.jpg","width":424,"height":636,"caption":"luky"},"logo":{"@id":"https:\/\/www.lukaswojcik.com\/blog\/wp-content\/uploads\/2026\/07\/lw-x2.jpg"},"sameAs":["https:\/\/www.lukaswojcik.com\/blog"],"url":"https:\/\/www.lukaswojcik.com\/blog\/author\/luky\/"}]}},"_links":{"self":[{"href":"https:\/\/www.lukaswojcik.com\/blog\/wp-json\/wp\/v2\/posts\/10346","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.lukaswojcik.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.lukaswojcik.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.lukaswojcik.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.lukaswojcik.com\/blog\/wp-json\/wp\/v2\/comments?post=10346"}],"version-history":[{"count":2,"href":"https:\/\/www.lukaswojcik.com\/blog\/wp-json\/wp\/v2\/posts\/10346\/revisions"}],"predecessor-version":[{"id":13291,"href":"https:\/\/www.lukaswojcik.com\/blog\/wp-json\/wp\/v2\/posts\/10346\/revisions\/13291"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.lukaswojcik.com\/blog\/wp-json\/wp\/v2\/media\/13873"}],"wp:attachment":[{"href":"https:\/\/www.lukaswojcik.com\/blog\/wp-json\/wp\/v2\/media?parent=10346"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.lukaswojcik.com\/blog\/wp-json\/wp\/v2\/categories?post=10346"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.lukaswojcik.com\/blog\/wp-json\/wp\/v2\/tags?post=10346"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}