Robots Meta Tag › X-Robots-Tag

  7. September 2018

Das Robots Meta Tag (Meta Robots) und das X-Robots-Tag definieren, ob eine (X)HTML Seite von Suchmaschinen-Bots verarbeitet und in Suchergebnissen angezeigt werden darf. Das Robots Meta Tag wird im Head-Bereich vom HTML Quellcode und das X-Robots-Tag im HTTP-Header angewiesen.

HTML Markup

Das Robots Meta Tag im oberen Beispiel verbietet allen Suchmaschinen-Bots die HTML Seite zu indexieren. Sollen die Anweisungen für ausgewählte Bots gelten, ist pro Anweisung der Crawler anzugeben, zum Beispiel: Googlebot und Googlebot-Image werden angewiesen, die HTML Seite nicht zu indexieren:

Robots Meta Tag-Anweisungen

AnweisungErklärung
allEs bestehen keine Einschränkungen.
indexDie Webseite darf in der Websuche angezeigt und der Link „im Cache gespeichert“ angezeigt werden.
noindexDie Webseite darf nicht in der Websuche angezeigt und kein Link „im Cache gespeichert“ angezeigt werden.
followDer Crawler darf den Links auf der Webseite folgen.
nofollowDer Crawler darf den Links auf der Webseite nicht folgen.
noneEntspricht der Anweisung: „noindex,follow“.
noarchiveEs darf kein Link „im Cache gespeichert“ in der Websuche angezeigt werden.
nosnippetEs darf kein Snippet für diese Webseite in der Websuche angezeigt werden.
noodpEs dürfen keine Meta Informationen aus dem Open Directory Project dieser Webseite angezeigt werden.
(Nachtrag: Das ODP wurde 2017 geschlossen.)
notranslateEs darf keine Übersetzung dieser Webseite in der Websuche angezeigt werden.
noimageindexEs dürfen keiner Bilder dieser Webseite indexiert werden.
unavailable_after: [RFC-850 date/time]Diese Webseite darf nach dem angegebenen Datum bzw. der angegebenen Uhrzeit nicht mehr in der Websuche angezeigt werden. Das Datum bzw. die Uhrzeit muss im RFC 850-Format angegeben werden.

Die oben genannten Robots Meta Tag-Anweisungen können individuell verwendet werden, sie gelten ebenso für das X-Robots-Tag. Mehrere Anweisungen werden durch Kommata getrennt. Werden keine Angaben gemacht, gelten keine Einschränkungen für Suchmaschinen-Crawler.

Verwendung in der Suchmaschinenoptimierung

Das Robots Meta Tag (Meta Robots) ist in der Suchmaschinenoptimierung eine elementare Anweisung bei der OnPage Optimierung. Häufig werden folgende Anweisungen verwendet:

Crawler dürfen die Website indexieren und allen Links folgen

Crawler dürfen die Website nicht indexieren aber allen Links folgen

Crawler dürfen die Website indexieren aber keinen Links folgen

Crawler dürfen die Website nicht indexieren und keinen Links folgen

Noindex und Canonical Tag

Beispiel: Robots Meta Tag und Canonical Tag // SEO META IN 1 CLICKHäufig wird das Robots Meta Tag-Attribut „noindex“ und ein Canonical Tag gesetzt. Wird auf einer Seite ein Canonical Tag gesetzt, das eine andere URL bevorzugt, sollte grundsätzlich das Robots Meta Tag-Attribut „index“ angegeben werden. Warum? Laut John Mueller von Google könnte die falsche Kombination dazu führen, dass „noindex“ auf die bevorzugte (kanonisierte) URL übertragen wird. In Einzelfällen kann es vorkommen, dass Suchmaschinen-Bots das Canonical Tag nicht verarbeiten, wenn „noindex“ im HTML Quellcode vor dem Canonical Tag notiert ist. Denn unter Umständen bricht der Crawler die Verarbeitung der Datei ab. Wird ein Canonical Tag angegeben, darf das Robots Meta Tag-Attribut „noindex“ nicht gesetzt werden. Mit dem hilfreichen Chrome Browser-Plugin SEO META IN 1 CLICK (Bild links) können diese Daten einer HTML Seite bequem ausgelesen und bewertet werden.

robots.txt versus Robots Meta Tag

Häufig liegt ein Missverständnis zwischen der robots.txt-Datei und dem Robots Meta Tag vor: Anweisungen in der robots.txt-Datei legen fest, welche Ressourcen von Suchmaschinen und Scrapern verarbeitet werden dürfen. Dagegen weist das Robots Meta Tag an, ob ein Crawler die HTML Seite indexieren sowie den Links im HTML Quellcode folgen darf. Wird eine HTML Seite durch eine robots.txt-Anweisung von der Verarbeitung ausgeschlossen, sollte das Robots Meta Tag-Attribut „noindex“ gesetzt werden – alles andere wäre falsch und verwirrt den Crawler.

X-Robots-Tag

Das X-Robots-Tag kann als Element der HTTP Header-Antwort für eine URL verwendet werden. Jede Robots Meta Tag-Anweisung kann auch als X-Robots-Tag angegeben werden, zum Beispiel:

In der HTTP-Antwort können beliebig viele X-Robots-Tag-Header kombiniert oder eine durch Kommas getrennte Liste von Anweisungen bereitgestellt werden, zum Beispiel für einen HTTP Header, in dem ein noarchive-X-Robots-Tag mit einem unavailable_after-X-Robots-Tag kombiniert ist.

Im X-Robots-Tag kann bei Bedarf vor den Anweisungen ein User-Agent angegeben werden. Mit dem folgenden Satz von X-Robots-Tag-HTTP Headern kann beispielsweise das Anzeigen einer Seite in den Suchergebnissen für verschiedene Suchmaschinen unter bestimmten Bedingungen erlaubt werden:

Anweisungen ohne einen User-Agent sind für alle Crawler gültig. Die Groß- und Kleinschreibung muss weder beim Namen noch bei den angegebenen Werten beachtet werden.

Achten Sie darauf, die Anweisungen per Robots Meta Tag oder per X-Robots-Tag bereitzustellen. Nicht selten werden widersprüchliche Daten hinterlegt, was zu Problemen führen kann. Ob ein X-Robots-Tag für eine Webseite gesetzt wird, kann schnell und einfach mit dem Web Developer Plugin (Chrome und Firefox) analysiert werden: „Information“ – „View Response Headers“

View Response Headers // Web Developer Plugin
View Response Headers // Web Developer Plugin
Beispiel: X-Robots-Tag // Web Developer Plugin
Beispiel: X-Robots-Tag // Web Developer Plugin
SEO Glossar