X-Robots-Tag

 > SEO Wissen > X-Robots-Tag
Interesse?
Rufen Sie an
0351 31446588

oder schreiben Sie
  12. Mai 2024

Mit dem X-Robots-Tag werden Indexierungs- und Bereitstellungsregeln für eine Webseite festgelegt, etwa ob sie von Suchmaschinen indexiert werden darf. Das X-Robots-Tag wird im HTTP-Header der Seite angegeben.

Die bewährte Methode für die Seiten-Indexierung ist das Meta Robots Tag. Es wird im HTML-Head einer Seite notiert. Das X-Robots-Tag ist die Alternative, um Indexierungs- und Bereitstellungsregeln für eine Seite festzulegen.

Wenn kein Meta Robots Tag oder kein X-Robots-Tag bereitgestellt wird, dann interpretieren User-agents die Seite mit der Regel index,follow (darf indexieren und den Verlinkungen im HTML-Code folgen). Das X-Robots-Tag verwendet die selben Regeln, die für das Meta Robots Tag gelten.

X-Robots-Tag verwenden

Das X-Robots-Tag kann als Element der HTTP Header-Antwort für eine URL verwendet werden, zum Beispiel:

In der HTTP-Antwort können beliebig viele X-Robots-Tag-Header kombiniert oder eine durch Kommas getrennte Liste von Regeln bereitgestellt werden – zum Beispiel für einen HTTP Header mit den Regeln noarchive und unavailable_after.

Im X-Robots-Tag kann bei Bedarf ein User-Agent notiert werden, für den die Regeln gelten:

Indexierungs- und Bereitstellungsregeln ohne Angabe von einem User-Agent sind für alle User-agents gültig. Groß- und Kleinschreibung muss weder beim Namen noch bei den verwendeten Regeln beachtet werden.

Indexierungs- und Bereitstellungsregeln

Hinter dem Doppelpunkt nach X-Robots-Tag: können eine oder mehrere Regeln stehen. Sie dürfen sich nicht gegenseitig ausschließen. Die Verwendung von index und noindex darf nicht für die selbe Seite erfolgen. Das gilt auch für follow und nofollow.

Regel Erklärung
all Es bestehen keine Einschränkungen.
index Die Seite darf in den Suchergebnissen erscheinen und der Link „im Cache gespeichert“ angezeigt werden.
noindex Die Seite darf nicht in den Suchergebnissen erscheinen und kein Link „im Cache gespeichert“ angezeigt werden.
follow Der Crawler darf den Links auf der Seite folgen.
nofollow Der Crawler darf den Links auf der Seite nicht folgen.
none Entspricht der Anweisung: „noindex,follow“.
noarchive Es darf kein Link „im Cache gespeichert“ in den Suchergebnissen erscheinen.
nosnippet Es darf kein Snippet für diese Seite in den Suchergebnissen erscheinen.
noodp Es dürfen keine Meta Informationen aus dem Open Directory Project dieser Seite angezeigt werden. Das ODP wurde 2017 geschlossen.
notranslate Es darf keine Übersetzung dieser Seite in den Suchergebnissen erscheinen.
noimageindex Es dürfen keiner Bilder dieser Seite indexiert werden.
unavailable_after: [RFC-850 date/time] Diese Seite darf nach dem angegebenen Datum bzw. der angegebenen Uhrzeit nicht mehr in der Websuche angezeigt werden. Das Datum bzw. die Uhrzeit muss im RFC 850-Format angegeben werden.

X-Robots-Tags auf Apache-Server implementieren

Um das X-Robots-Tag auf einem Apache-Server zu nutzen, fügt man den folgenden Code in die .htaccess- oder httpd.config-Datei der Website ein.

X-Robots-Tags auf Nginx-Server implementieren

Bei einem Nginx-Server, fügt man folgende Anweisung in die .conf-Datei der Website ein:

Die Bereitstellungsregeln für das X-Robots-Tag können für einen Dateityp (alle PNG-Bilder), mehrere Dateitypen (alle PNG-, JPG-, GIF-Bilder), sowie für einzelne statische Seiten und Ressourcen (PDF-Datei) implementiert werden. Hier gibt es weiterführende Informationen.

Noindex und Canonical Tag

Detailed SEO Extension: Seitenindexierung anzeigen John Müller von Google informierte Ende 2021 in einem Google SEO office-hours hangout (Quelle): Auch die Kombination von einem Canonical Tag und noindex ist möglich. Diese Option bietet sich zum Beispiel an, wenn Backlinks auf eine Seite verlinken, die nicht indexiert werden sollen und für die man eine andere interne Seite bevorzugt. Diese Kombination ist zwar exotisch, kann aber bei Bedarf verwendet werden. Mit dem Chrome Browser-Plugin SEO META IN 1 CLICK (Bild links) können diese Daten geprüft werden.

X-Robots-Tag versus robots.txt

Häufig liegt ein Missverständnis zwischen der robots.txt-Datei und dem X-Robots-Tag vor: Anweisungen in der robots.txt-Datei legen fest, welche Ressourcen Suchmaschinen und Scraper verarbeiten bzw. crawlen dürfen. Dagegen weist das X-Robots-Tag an, ob Crawler eine Seite indexieren und den Links im HTML-Code folgen dürfen. Wird eine Seite durch eine robots.txt-Anweisung von der Verarbeitung/Crawling ausgeschlossen, sollte die X-Robots-Tag-Regel noindex festgelegt werden.

X-Robots-Tag prüfen

Ob ein X-Robots-Tag für eine Seite gesetzt wird, kann schnell mit dem Web Developer-Plugin (Chrome und Firefox) analysiert werden: „Information“ – „View Response Headers“

View Response Headers // Web Developer Plugin
View Response Headers // Web Developer Plugin
Beispiel: X-Robots-Tag // Web Developer Plugin
Beispiel: X-Robots-Tag // Web Developer Plugin

Es gibt auch viele andere Möglichkeiten, die Indexierungs- und Bereitstellungsregeln einer Seite im Browser anzuzeigen, zum Beispiel mit SEO META IN 1 CLICK oder mit der Ahrefs SEO Toolbar.


DSGVO Cookie Consent mit Real Cookie Banner