{"version":"1.0","provider_name":"Lukas Wojcik - Blog","provider_url":"https:\/\/www.lukaswojcik.com\/blog","author_name":"luky","author_url":"https:\/\/www.lukaswojcik.com\/blog\/author\/luky\/","title":"robots.txt-Crawlermatrix: welche Regel f\u00fcr welchen Bot gewinnt - Lukas Wojcik - Blog","type":"rich","width":600,"height":338,"html":"<blockquote class=\"wp-embedded-content\" data-secret=\"tHSBcKmtxi\"><a href=\"https:\/\/www.lukaswojcik.com\/blog\/de\/werkzeuge\/robots-txt-crawler-matrix\/\">robots.txt-Crawlermatrix: welche Regel f\u00fcr welchen Bot gewinnt<\/a><\/blockquote><iframe sandbox=\"allow-scripts\" security=\"restricted\" src=\"https:\/\/www.lukaswojcik.com\/blog\/de\/werkzeuge\/robots-txt-crawler-matrix\/embed\/#?secret=tHSBcKmtxi\" width=\"600\" height=\"338\" title=\"&#8220;robots.txt-Crawlermatrix: welche Regel f\u00fcr welchen Bot gewinnt&#8221; &#8212; Lukas Wojcik - Blog\" data-secret=\"tHSBcKmtxi\" frameborder=\"0\" marginwidth=\"0\" marginheight=\"0\" scrolling=\"no\" class=\"wp-embedded-content\"><\/iframe><script>\n\/*! This file is auto-generated *\/\n!function(d,l){\"use strict\";l.querySelector&&d.addEventListener&&\"undefined\"!=typeof URL&&(d.wp=d.wp||{},d.wp.receiveEmbedMessage||(d.wp.receiveEmbedMessage=function(e){var t=e.data;if((t||t.secret||t.message||t.value)&&!\/[^a-zA-Z0-9]\/.test(t.secret)){for(var s,r,n,a=l.querySelectorAll('iframe[data-secret=\"'+t.secret+'\"]'),o=l.querySelectorAll('blockquote[data-secret=\"'+t.secret+'\"]'),c=new RegExp(\"^https?:$\",\"i\"),i=0;i<o.length;i++)o[i].style.display=\"none\";for(i=0;i<a.length;i++)s=a[i],e.source===s.contentWindow&&(s.removeAttribute(\"style\"),\"height\"===t.message?(1e3<(r=parseInt(t.value,10))?r=1e3:~~r<200&&(r=200),s.height=r):\"link\"===t.message&&(r=new URL(s.getAttribute(\"src\")),n=new URL(t.value),c.test(n.protocol))&&n.host===r.host&&l.activeElement===s&&(d.top.location.href=t.value))}},d.addEventListener(\"message\",d.wp.receiveEmbedMessage,!1),l.addEventListener(\"DOMContentLoaded\",function(){for(var e,t,s=l.querySelectorAll(\"iframe.wp-embedded-content\"),r=0;r<s.length;r++)(t=(e=s[r]).getAttribute(\"data-secret\"))||(t=Math.random().toString(36).substring(2,12),e.src+=\"#?secret=\"+t,e.setAttribute(\"data-secret\",t)),e.contentWindow.postMessage({message:\"ready\",secret:t},\"*\")},!1)))}(window,document);\n\/\/# sourceURL=https:\/\/www.lukaswojcik.com\/blog\/wp-includes\/js\/wp-embed.min.js\n<\/script>\n","description":"Liest die robots.txt einer Seite, ordnet jede Crawler-Kennung der Gruppe zu, die f\u00fcr sie gilt, und zeigt je Pfad, ob gecrawlt werden darf und welche Regel das entschieden hat. Dazu der Teil, den die meisten Zusammenfassungen falsch wiedergeben: was ein 404, ein 410 oder ein 500 auf der Regeldatei selbst bedeutet.","thumbnail_url":"https:\/\/www.lukaswojcik.com\/blog\/wp-content\/uploads\/2026\/08\/og-default.jpg","thumbnail_width":1200,"thumbnail_height":630}