{"id":20966,"date":"2026-10-01T18:27:42","date_gmt":"2026-10-01T16:27:42","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/blog\/?p=20966"},"modified":"2026-10-01T18:29:43","modified_gmt":"2026-10-01T16:29:43","slug":"sitemap-strukturen-24-seiten-index-aufteilung-erweiterungen-verstoesse","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/de\/web-entwicklung\/sitemap-strukturen-24-seiten-index-aufteilung-erweiterungen-verstoesse\/","title":{"rendered":"Sitemap-Strukturen an 24 Seiten gemessen: Index, Aufteilung, Erweiterungen und Verst\u00f6\u00dfe"},"content":{"rendered":"

Bei einer kleinen Seite ist eine Sitemap eine Liste. Bei einer gro\u00dfen ist sie ein Geb\u00e4ude aus Dateien: ein Index, der auf Kinddateien zeigt, eine Aufteilung nach Inhaltsart, Sprache oder laufender Nummer und Erweiterungen f\u00fcr Bilder, Videos, News und Sprachfassungen. Jede dieser Entscheidungen hat eine Grenze im Protokoll, und an jeder l\u00e4sst sich etwas falsch machen, ohne dass eine Seite davon sichtbar kaputtgeht.<\/p>\n

F\u00fcr diesen Artikel wurden am 1. Oktober 2026 die Sitemaps von 24 Domains gelesen und mit dem Pr\u00fcfkern des neuen Sitemap Checker & Validator<\/a> gepr\u00fcft: Suche, Infrastruktur, Nachrichten, Verwaltung, Handel und Reise, in drei L\u00e4ndern, dazu die eigene Seite.<\/p>\n

\n\"F\u00fcnf
Bauformen, Verst\u00f6\u00dfe und Grenzen in den Sitemaps von 18 lesbaren Domains, gemessen am 1. Oktober 2026.<\/figcaption><\/figure>\n

So wurde gemessen<\/h2>\n

Gesucht wurde die Sitemap so, wie ein Crawler sie findet: zuerst die erste Sitemap:<\/code>-Zeile in robots.txt<\/code>, sonst \/sitemap.xml<\/code> und \/sitemap_index.xml<\/code>. War die Datei ein Index, wurden drei Kinddateien geholt, die erste, eine aus der Mitte und die letzte. Gepackte Dateien (.gz<\/code>) wurden entpackt. Gepr\u00fcft hat derselbe Code, der im Werkzeug im Browser l\u00e4uft, hier unter Node auf dem eigenen Server.<\/p>\n

Nicht gepr\u00fcft wurde, ob die Adressen in den Sitemaps erreichbar sind. Das ist eine andere Frage mit eigenen Fallen, und f\u00fcr sie gibt es den XML-Sitemap-Auditor<\/a>, der eine Stichprobe der Adressen abruft. Hier geht es um die Dateien selbst: Aufbau, Format und die Regeln von sitemaps.org und Google.<\/p>\n

Sechs Domains ohne lesbare Sitemap<\/h2>\n

Von 24 Domains lieferten 18 eine lesbare Sitemap. Vier nennen in robots.txt<\/code> keine Sitemap und antworten unter \/sitemap.xml<\/code> mit 404, eine davon erst nach einer Weiterleitung. Zwei weisen den abrufenden Client mit 403 ab, eine davon bei der Datei, die ihre eigene robots.txt<\/code> nennt.<\/p>\n

Ein Fall liegt dazwischen. heise.de nennt in robots.txt<\/code> sieben Sitemaps, und die erste davon, \/sitemapindex.xml<\/code>, antwortet mit 404. Die Standardadresse \/sitemap.xml<\/code> liefert dagegen eine Datei mit 10.000 Eintr\u00e4gen. Ein Crawler, der alle Zeilen liest, verliert dadurch nichts; ein Werkzeug, das nur die erste nimmt, meldet eine fehlende Sitemap.<\/p>\n

robots.txt als Inhaltsverzeichnis<\/h2>\n

Das Protokoll erlaubt beliebig viele Sitemap:<\/code>-Zeilen, und genau so arbeiten mehrere gro\u00dfe Seiten: Statt eines Index steht die Liste der Dateien gleich in robots.txt<\/code>.<\/p>\n\n\n\n\n\n\n\n\n\n\n
Domain<\/th>\nSitemap:<\/code>-Zeilen<\/th>\n<\/tr>\n
booking.com<\/td>\n434<\/td>\n<\/tr>\n
nytimes.com<\/td>\n25<\/td>\n<\/tr>\n
microsoft.com<\/td>\n22<\/td>\n<\/tr>\n
otto.de<\/td>\n19<\/td>\n<\/tr>\n
bbc.co.uk<\/td>\n13<\/td>\n<\/tr>\n
wordpress.org<\/td>\n9<\/td>\n<\/tr>\n
heise.de<\/td>\n7<\/td>\n<\/tr>\n
sieben weitere<\/td>\n1 bis 5<\/td>\n<\/tr>\n<\/table>\n

Das hat einen Vorteil, der in keiner Spezifikation steht: Jede Zeile ist zugleich der Nachweis, dass der Betreiber des Hosts diese Datei will. Nach sitemaps.org darf eine Sitemap Adressen eines anderen Hosts nur enthalten, wenn dessen robots.txt<\/code> auf sie zeigt.<\/p>\n

F\u00fcnf Bauformen<\/h2>\n

Die 18 Sitemaps lassen sich f\u00fcnf Bauformen zuordnen, und manche Seiten mischen zwei davon.<\/p>\n\n\n\n\n\n\n\n
Bauform<\/th>\nBeispiele aus der Messung<\/th>\n<\/tr>\n
eine Datei<\/td>\nheise.de (10.000 Eintr\u00e4ge), lukaswojcik.com (1.006), Cloudflare (933); die News-Sitemaps von New York Times, Spiegel und Guardian, die ihre robots.txt<\/code> jeweils zuerst nennt<\/td>\n<\/tr>\n
Index nach Inhaltsart<\/td>\nwordpress.org (Seiten, Bilder, Videos), Otto (49 Kategorien), Airbnb (Unterk\u00fcnfte, Erlebnisse, Ziele, Hilfeseiten)<\/td>\n<\/tr>\n
Index nach Sprache oder Markt<\/td>\nIkea mit 2.166 Dateien nach dem Muster prod-et-EE_1.xml<\/code>, MDN mit zehn Sprachen, Booking mit 45 Sprachen je Inhaltsart, Shopify mit 568 Dateien<\/td>\n<\/tr>\n
Index nach laufender Nummer<\/td>\ngov.uk mit 35 Dateien zu je bis zu 25.000 Adressen, Airbnb mit 140 Dateien nur f\u00fcr Unterk\u00fcnfte<\/td>\n<\/tr>\n
Index aus Indizes<\/td>\nApple (47 L\u00e4nder-Indizes, einer davon auf apple.com.cn), Microsoft (f\u00fcnf Unter-Indizes), eine Kinddatei von Google<\/td>\n<\/tr>\n<\/table>\n

Die letzte Form verdient einen zweiten Blick. sitemaps.org beschreibt einen Index als Liste von Sitemaps, Google sagt zur Verschachtelung in der Anleitung f\u00fcr gro\u00dfe Sitemaps nichts. Ein Index, der auf weitere Indizes zeigt, verl\u00e4sst sich also auf ein Verhalten, das niemand zusagt. Apples Wurzelindex nennt dazu Dateien auf einem zweiten Host, was nach dem Protokoll nur \u00fcber die robots.txt<\/code> jenes Hosts gedeckt ist.<\/p>\n

Die Grenze, die zuerst erreicht wird<\/h2>\n

Eine Sitemap darf h\u00f6chstens 50.000 Adressen enthalten und unkomprimiert h\u00f6chstens 50 MB gro\u00df sein. gov.uk bleibt mit 25.000 Adressen je Datei bei der H\u00e4lfte, eine Airbnb-Datei steht mit genau 50.000 auf der Grenze. Bei Ikea greift die andere Grenze.<\/p>\n

Die Datei prod-et-EE_1.xml<\/code> enth\u00e4lt nur 4.617 Adressen, ist aber 47,6 MB gro\u00df, 95,3 Prozent dessen, was erlaubt ist. Jede Adresse tr\u00e4gt im Mittel 69 xhtml:link<\/code>-Eintr\u00e4ge f\u00fcr ihre Sprachfassungen, zusammen 319.635, dazu 22.797 Bilder und 1.585 Videos. Rund 10,8 KB je Eintrag sind nicht mehr die Adresse, sondern ihre Beschreibung.<\/p>\n

Das ist die Rechnung, die hreflang in der Sitemap mit sich bringt: Jede Fassung einer Seite listet alle anderen Fassungen und sich selbst. \u00dcber alle Dateien w\u00e4chst die Zahl der Links deshalb mit dem Quadrat der Sprachfassungen, nicht mit der Zahl der Seiten. F\u00fcr Sitemaps mit hreflang ist die Bytegrenze daher der bessere Ma\u00dfstab f\u00fcr die Aufteilung als die Zahl der Adressen.<\/p>\n

Wo die Verst\u00f6\u00dfe sitzen<\/h2>\n

Im Kernformat aus loc<\/code>, lastmod<\/code>, changefreq<\/code> und priority<\/code> fand der Validator wenig: einige doppelte Eintr\u00e4ge, bei heise.de drei Adressen mit Fragment (#<\/code>) und zwei auf einem anderen Host, leere Kinddateien bei Shopify und Ikea. Die Verst\u00f6\u00dfe mit Gewicht stecken fast alle in den Namensr\u00e4umen und den Erweiterungen.<\/p>\n