Sitemap in robots.txt angeben — So funktioniert das Zusammenspiel
Die robots.txt und die XML-Sitemap sind zwei der wichtigsten SEO-Dateien einer Website — und sie ergänzen sich ideal. Die robots.txt zeigt Crawlern, was sie nicht crawlen sollen, die Sitemap zeigt, was sie crawlen sollen. Die Sitemap-URL in der robots.txt anzugeben ist eine Best Practice, die Suchmaschinen direkt zur strukturierten Übersicht aller wichtigen Seiten führt. Der WikiPlus Robots.txt Generator integriert die Sitemap-URL automatisch.
Warum die Sitemap in robots.txt angeben?
Die XML-Sitemap kann auf drei Wegen an Suchmaschinen übermittelt werden: direkt in der Google Search Console einreichen, in der robots.txt referenzieren und über das Ping-Protokoll. Die Angabe in der robots.txt hat einen klaren Vorteil: Alle Crawler, die robots.txt lesen (also alle seriösen Suchmaschinen), erfahren automatisch von der Sitemap — nicht nur Google. Bing, Yandex und andere Suchmaschinen profitieren ebenfalls ohne separate Einreichung. Die Syntax ist einfach: Sitemap: https://example.com/sitemap.xml. Wichtig: Die URL muss absolut und vollständig sein (mit https:// und Domainnamen). Relative URLs funktionieren nicht. Mehrere Sitemaps können in der robots.txt angegeben werden: Sitemap: https://example.com/sitemap.xml, gefolgt von Sitemap: https://example.com/sitemap-bilder.xml in der nächsten Zeile.
XML-Sitemap erstellen: Was muss drin sein?
Eine XML-Sitemap listet alle wichtigen URLs einer Website auf, optional mit Zusatzinformationen. Das Mindestformat: <?xml version='1.0' encoding='UTF-8'?> <urlset xmlns='http://www.sitemaps.org/schemas/sitemap/0.9'> <url> <loc>https://example.com/</loc> <lastmod>2026-05-12</lastmod> <changefreq>weekly</changefreq> <priority>1.0</priority> </url> </urlset>. Wichtige Hinweise: Nur indexierbare URLs in die Sitemap aufnehmen (keine Seiten mit noindex, keine gesperrten robots.txt-URLs). lastmod sollte das tatsächliche letzte Änderungsdatum widerspiegeln — falsche Daten verringern die Vertrauenswürdigkeit. changefreq und priority werden von Google kaum berücksichtigt. Maximale Größe: 50.000 URLs oder 50 MB pro Sitemap. Bei größeren Sites: Sitemap-Index-Dateien verwenden.
Sitemap-Index für große Websites
Websites mit mehr als 50.000 Seiten oder 50 MB Sitemap-Größe müssen mehrere Sitemaps über eine Sitemap-Index-Datei verwalten. Format: <?xml version='1.0' encoding='UTF-8'?> <sitemapindex xmlns='http://www.sitemaps.org/schemas/sitemap/0.9'> <sitemap> <loc>https://example.com/sitemap-1.xml</loc> <lastmod>2026-05-12</lastmod> </sitemap> <sitemap> <loc>https://example.com/sitemap-2.xml</loc> <lastmod>2026-05-12</lastmod> </sitemap> </sitemapindex>. In robots.txt wird dann der Sitemap-Index referenziert: Sitemap: https://example.com/sitemap-index.xml. Für E-Commerce-Shops mit vielen Produkten ist es sinnvoll, Sitemaps nach Kategorie aufzuteilen: sitemap-produkte.xml, sitemap-kategorien.xml, sitemap-blog.xml. Das erleichtert die Analyse in der Google Search Console, wo man pro Sitemap Crawling- und Indexierungsdaten sehen kann.
Automatische Sitemap-Generierung und Aktualisierung
Manuelle Sitemap-Pflege ist bei größeren Websites kaum praktikabel. Die Lösung: Automatische Generierung. WordPress: Yoast SEO oder Rank Math generieren und aktualisieren die Sitemap automatisch. Google XML Sitemaps ist ein weiteres bewährtes Plugin. Next.js: In der next-sitemap-Bibliothek oder manuell mit app/sitemap.js (seit Next.js 13). Astro, Hugo, Eleventy: Eingebaut oder als Plugin verfügbar. Shopware/WooCommerce: Eingebaut oder über SEO-Plugins. Was sollte in der Sitemap automatisch aktualisiert werden: lastmod bei jeder Inhaltsänderung. Neue Seiten sofort nach Veröffentlichung. Gelöschte Seiten sofort entfernen. Nicht indexierbare Seiten (noindex) immer ausschließen. Nach jeder größeren Aktualisierung lohnt sich ein manueller Check: Sitemap im Browser aufrufen und stichprobenartig prüfen, ob die richtigen URLs enthalten sind.
Häufig gestellte Fragen
- Muss ich die Sitemap zusätzlich in der Search Console einreichen, wenn sie in robots.txt steht?
- Nein, wenn die Sitemap in robots.txt angegeben ist, findet Google sie automatisch. Es schadet aber nicht, sie auch in der Search Console einzureichen — das gibt direktes Feedback über Crawling-Status, Fehler und die Anzahl indexierter Seiten pro Sitemap.
- Darf ich URLs in der Sitemap haben, die in robots.txt gesperrt sind?
- Das ist ein Widerspruch und sollte vermieden werden. Google ignoriert gesperrte URLs in der Sitemap und meldet in der Search Console einen 'Sitemap URL blocked by robots.txt'-Fehler. Stelle sicher, dass alle Sitemap-URLs auch crawlbar sind.
- Wann sollte ich eine Bild-Sitemap oder Video-Sitemap verwenden?
- Wenn Bilder oder Videos für die Google Bild- oder Videosuche relevant sind, sollten sie in einer speziellen Bild- oder Video-Sitemap erfasst werden. Das verbessert die Indexierung von Bildmaterial und ermöglicht Rich-Suchergebnisse für Videos.