Robots Meta Tag: noindex, nofollow richtig einsetzen
Der Robots-Meta-Tag gibt Suchmaschinen Direktiven darüber, wie sie eine Seite behandeln sollen — ob sie indexiert, ob Links verfolgt und ob eine gecachte Version gespeichert werden soll. Falsch eingesetzt können Robots-Tags zu erheblichen SEO-Problemen führen, beispielsweise wenn wichtige Seiten aus dem Index ausgeschlossen werden. Der WikiPlus Meta-Tag Generator hilft dabei, die richtigen Robots-Direktiven zu setzen.
noindex vs. nofollow: Was sind die Unterschiede?
Die zwei wichtigsten Robots-Meta-Tag-Direktiven haben ganz unterschiedliche Wirkungen. noindex: Weist Suchmaschinen an, die Seite nicht in ihren Index aufzunehmen. Die Seite erscheint nicht in Suchergebnissen. Links auf der Seite werden trotzdem verfolgt, sofern nicht auch nofollow gesetzt ist. nofollow: Weist Suchmaschinen an, den Links auf dieser Seite nicht zu folgen. Die Seite selbst kann trotzdem indexiert werden. PageRank wird nicht über die Links weitergegeben. Kombinationen: <meta name='robots' content='noindex, nofollow'> — Seite wird nicht indexiert, Links werden nicht verfolgt. <meta name='robots' content='index, follow'> — Standard-Verhalten (kann weggelassen werden, da dies die Grundeinstellung ist). <meta name='robots' content='noindex, follow'> — Seite nicht indexiert, aber Links werden trotzdem verfolgt. Der WikiPlus Meta-Tag Generator ermöglicht es, diese Kombinationen mit wenigen Klicks zu konfigurieren.
Wann sollte man noindex einsetzen?
noindex ist ein wichtiges Werkzeug zur Kontrolle des Crawl-Budgets und zur Vermeidung von Thin-Content-Problemen. Typische Anwendungsfälle für noindex: Danke-Seiten nach einem Formular-Submit (niemand sucht danach, und sie sollten nicht in Suchergebnissen erscheinen). Interne Suchergebnisseiten (/search?q=...) — Google mag keine Seiten, die wiederum Suchergebnisse darstellen. Paginierungsseiten (page-2, page-3 etc.) können noindex erhalten, wenn die erste Seite bereits gut rankt. Staging- oder Test-Umgebungen (hier sollte aber besser robots.txt genutzt werden). Tag-Seiten in WordPress, die zu Thin Content führen. Login- und Account-Seiten. Admin- und Backend-Bereiche. Wichtig: noindex auf wichtige Seiten zu setzen ist ein kritischer Fehler. Überprüfe die Implementierung regelmäßig in der Google Search Console unter Coverage.
noarchive, nosnippet und weitere Robots-Direktiven
Neben noindex und nofollow gibt es weitere nützliche Robots-Direktiven. noarchive: Verhindert, dass Google eine gecachte Kopie der Seite speichert. Für Seiten mit sensiblen oder häufig aktualisierten Inhalten sinnvoll. nosnippet: Verhindert, dass Google einen Snippet-Text aus der Seite generiert — kein Vorschautext in Suchergebnissen und kein Rich Snippet. max-snippet:[N]: Begrenzt die Länge des Snippet-Textes auf N Zeichen. max-image-preview:[setting]: Steuert die Bildvorschaugröße (none, standard, large). max-video-preview:[N]: Begrenzt die Video-Vorschaudauer. unavailable_after:[Datum]: Weist Google an, die Seite nach einem bestimmten Datum aus dem Index zu nehmen — nützlich für zeitlich begrenzte Angebote. Diese Direktiven können kombiniert werden: <meta name='robots' content='noarchive, max-snippet:100'>.
Robots Meta Tag vs. robots.txt: Was ist der Unterschied?
Robots-Meta-Tags und robots.txt-Dateien sind zwei verschiedene Mechanismen zur Kontrolle des Crawler-Verhaltens, die sich in ihrem Anwendungsbereich unterscheiden. robots.txt: Liegt im Root-Verzeichnis der Domain (/robots.txt). Steuert, welche URLs Crawler überhaupt besuchen dürfen (Crawling). Wenn eine URL in robots.txt per Disallow blockiert ist, crawlt Google sie nicht — kann sie aber trotzdem indexieren, wenn externe Links darauf zeigen. Robots-Meta-Tags: Befinden sich im HTML der jeweiligen Seite. Steuern Indexierung und Link-Verfolgung. Damit Robots-Meta-Tags wirken, muss die Seite zuerst gecrawlt worden sein — eine in robots.txt blockierte Seite kann ihre eigenen Meta-Tags nicht kommunizieren. Faustregel: robots.txt für Crawling-Einschränkungen (Serverressourcen schonen), Robots-Meta-Tags für Indexierungskontrolle einzelner Seiten.
Häufig gestellte Fragen
- Was passiert, wenn ich versehentlich noindex auf meiner gesamten Website setze?
- Die Website verschwindet aus dem Google-Index. In der Google Search Console erscheinen Coverage-Fehler. Erkenne das Problem sofort: Entferne das noindex-Tag und reiche die wichtigsten URLs zur erneuten Indexierung ein. Die vollständige Wiederherstellung des Rankings kann Wochen dauern.
- Kann ich mit nofollow verhindern, dass PageRank verloren geht?
- Das Konzept des 'PageRank Sculpting' durch nofollow war früher populär, hat aber heute kaum noch Wirkung. Google verteilt PageRank unabhängig von nofollow-Links intern neu. nofollow ist heute vor allem für bezahlte Links und nicht vertrauenswürdige User-Content-Links relevant.
- Brauche ich Robots-Meta-Tags, wenn ich robots.txt verwende?
- Beide Mechanismen ergänzen sich. robots.txt steuert das Crawling (ob eine Seite besucht wird), Robots-Meta-Tags steuern die Indexierung (ob eine gecrawlte Seite im Index erscheint). Für vollständige Kontrolle sollte man beide richtig einsetzen.