Noindex
Was ist Noindex?
Noindex ist ein spezieller Meta-Tag im HTML-Code einer Webseite. Er signalisiert Suchmaschinen, dass die betreffende Seite nicht in den Suchergebnissen erscheinen soll.
So bleibt die Seite für Nutzer über Google & Co. unsichtbar, obwohl sie technisch erreichbar bleibt.
Wofür wird Noindex verwendet?
Noindex wird eingesetzt, um gezielt Seiten von der Indexierung durch Suchmaschinen auszuschließen.
Typische Anwendungsfälle sind interne Suchergebnisseiten, Login-Bereiche, doppelte Inhalte (Duplicate Content), Druckversionen von Seiten oder rechtlich sensible Seiten wie das Impressum.
Auch in Online-Shops werden oft Filter- und Sortierseiten per Noindex ausgeklammert, um das Ranking nicht zu verwässern.
Warum ist Noindex wichtig?
Noindex hilft, die Qualität und Relevanz der indexierten Seiten einer Website zu steuern. So kann man verhindern, dass unwichtige, doppelte oder sensible Inhalte in den Suchergebnissen auftauchen.
Das verbessert die Nutzererfahrung und schützt das Ranking der wirklich relevanten Seiten vor Nachteilen durch Duplicate Content oder „Index-Bloat“ (zu viele irrelevante Seiten im Index).
Wie wird Noindex umgesetzt oder optimiert?
Noindex wird meist als Meta-Tag im -Bereich einer HTML-Seite eingebaut:
<meta name="robots" content="noindex,follow">Alternativ kann Noindex auch über HTTP-Header oder (eingeschränkt) in der robots.txt verwendet werden.
Wichtig: Der Crawler muss die Seite besuchen können, sonst erkennt er das Noindex-Tag nicht. Für dynamisch erzeugte Seiten empfiehlt sich die Automatisierung über das Content-Management-System.
Was sind typische Fehler oder Herausforderungen bei Noindex?
Häufige Fehler sind:
- Kombination von Disallow (robots.txt) und Noindex: Wird das Crawling blockiert, sieht der Bot das Noindex-Tag nicht.
- Falscher Einsatz bei wichtigen Seiten: Dadurch verschwinden relevante Inhalte aus dem Index.
- Gleichzeitige Verwendung von Canonical und Noindex: Das sorgt für widersprüchliche Signale.
Tipp: Nach Änderungen immer prüfen, ob die gewünschten Seiten tatsächlich aus dem Index verschwunden sind.
Welche Tools unterstützen bei Noindex?
- Google Search Console (zur Überprüfung der Indexierung)
- Screaming Frog SEO Spider (zur Analyse von Meta-Tags)
- Ryte, Seobility oder XOVI (zur Onpage-Optimierung und Kontrolle)
- Browser-Plugins wie „Ayima Redirect Path“
Welche Begriffe sind eng mit Noindex verknüpft?
- Index
- Disallow (robots.txt)
- Nofollow
- Canonical Tag
- Crawling
- Duplicate Content
- Meta Robots Tag
- SEO (Suchmaschinenoptimierung)
Der Robots Exclusion Standard (auch bekannt als robots.txt) ist ein Dateiformat mit Namenskonvention für Webserver, um bestimmten Bots mitzuteilen, ob und inwieweit sie willkommen oder unerwünscht sind. Umgesetzt wird das durch eine Textdatei namens robots.txt im Stammverzeichnis der Website. Webcrawler sollen zuerst eine Datei dieses Namens abzurufen versuchen, und sofern das gelingt, darin niedergeschriebene Grenzen achten.
Webmaster haben so keineswegs die Möglichkeit, ausgesuchte Bereiche ihrer Website für (bestimmte) Suchmaschinen zu sperren. Der Standard ist rein hinweisend und auf die Mitarbeit des Webcrawlers angewiesen. Man spricht hier auch von „freundlichen“ Webcrawlern. Ein Ausgrenzen bestimmter Teile einer Website durch das Protokoll garantiert keine Geheimhaltung; dazu sind Seiten oder Unterverzeichnisse eines Servers durch HTTP-Authentifizierung, eine Access Control List (ACL) oder einen ähnlichen Mechanismus zu schützen. Manche Suchmaschinen zeigen die vom Webcrawler gefundenen und zu sperrenden URLs trotzdem in den Suchergebnisseiten an, jedoch ohne Beschreibung der Seiten.
Der Robots Exclusion Standard geht auf einen Vorschlag des Entwicklers von ALIWEB im Februar 1994 zurück. Anfang Juni 2008 bekannten sich Google, Microsoft und Yahoo zu einigen Gemeinsamkeiten. Mit RFC 9309 von 2022 wurde der Robots Exclusion Standard erweitert und als Internetstandard vorgeschlagen.
Ein zwingendes Verbot der Indizierung wird durch den Einsatz von robots.txt nicht erreicht, auch wenn seriöse Webcrawler die Anweisungen befolgen.
