Mit dem X-Robots-Tag werden Indexierungs- und Bereitstellungsregeln für eine Webseite festgelegt. Vor allem, ob sie von Suchmaschinen indexiert werden darf. Das Tag wird im HTTP-Header einer Seite angegeben.
Die allgemeine Methode für die Seiten-Indexierung ist das Meta Robots Tag. Es wird im HTML-Head der Seite angegeben. Alternativ kann das X-Robots-Tag die Indexierungs- und Bereitstellungsregeln für eine Seite festlegen. Wenn kein Meta Robots Tag oder kein X-Robots-Tag bereitgestellt werden, dann interpretieren User-agents die Seite mit der Regel index,follow (darf indexieren und den Verlinkungen im HTML-Code folgen). Das X-Robots-Tag verwendet die selben Regeln, die für das Meta Robots Tag gelten.
Inhaltsverzeichnis
X-Robots-Tag verwenden
Das X-Robots-Tag kann als Element der HTTP Header-Antwort für eine URL verwendet werden, zum Beispiel:
|
1 2 3 4 5 |
HTTP/1.1 200 OK Date: Tue, 13 June 2018 12:50:43 GMT (…) X-Robots-Tag: noindex (…) |
In der HTTP-Antwort können beliebig viele X-Robots-Tag-Header kombiniert oder eine durch Kommas getrennte Liste von Regeln bereitgestellt werden – zum Beispiel für einen HTTP Header mit den Regeln noarchive und unavailable_after.
|
1 2 3 4 5 6 |
HTTP/1.1 200 OK Date: Tue, 13 June 2018 12:50:43 GMT (…) X-Robots-Tag: noarchive X-Robots-Tag: unavailable_after: 25 Jun 2018 15:00:00 PST (…) |
Im X-Robots-Tag kann bei Bedarf ein User-Agent notiert werden, für den die Regeln gelten:
|
1 2 3 4 5 6 |
HTTP/1.1 200 OK Date: Tue, 13 June 2018 12:50:43 GMT (…) X-Robots-Tag: googlebot: index X-Robots-Tag: semrushbot: noindex, follow (…) |
Indexierungs- und Bereitstellungsregeln ohne Angabe von einem User-Agent sind für alle User-agents gültig. Groß- und Kleinschreibung muss weder beim Namen noch bei den verwendeten Regeln beachtet werden.
Indexierungs- und Bereitstellungsregeln
Hinter dem Doppelpunkt nach X-Robots-Tag: können eine oder mehrere Regeln stehen. Sie dürfen sich nicht gegenseitig ausschließen. Die Verwendung von index und noindex darf nicht für die selbe Seite erfolgen. Das gilt auch für follow und nofollow.
| Regel | Erklärung |
| all | Es bestehen keine Einschränkungen. |
| index | Die Seite darf in der Websuche angezeigt und der Link „im Cache gespeichert“ angezeigt werden. |
| noindex | Die Seite darf nicht in der Websuche angezeigt und kein Link „im Cache gespeichert“ angezeigt werden. |
| follow | Der Crawler darf den Links auf der Seite folgen. |
| nofollow | Der Crawler darf den Links auf der Seite nicht folgen. |
| none | Entspricht der Anweisung: „noindex,follow“. |
| noarchive | Es darf kein Link „im Cache gespeichert“ in der Websuche angezeigt werden. |
| nosnippet | Es darf kein Snippet für diese Seite in der Websuche angezeigt werden. |
| noodp | Es dürfen keine Meta Informationen aus dem Open Directory Project dieser Seite angezeigt werden. (Nachtrag: Das ODP wurde 2017 geschlossen.) |
| notranslate | Es darf keine Übersetzung dieser Seite in der Websuche angezeigt werden. |
| noimageindex | Es dürfen keiner Bilder dieser Seite indexiert werden. |
| unavailable_after: [RFC-850 date/time] | Diese Seite darf nach dem angegebenen Datum bzw. der angegebenen Uhrzeit nicht mehr in der Websuche angezeigt werden. Das Datum bzw. die Uhrzeit muss im RFC 850-Format angegeben werden. |
Noindex und Canonical Tag
robots.txt vs. X-Robots-Tag
Häufig liegt ein Missverständnis zwischen der robots.txt-Datei und dem X-Robots-Tag vor: Anweisungen in der robots.txt-Datei legen fest, welche Ressourcen Suchmaschinen und Scraper verarbeiten bzw. crawlen dürfen. Dagegen weist das X-Robots-Tag an, ob Crawler eine Seite indexieren und den Links im HTML-Code folgen dürfen. Wird eine Seite durch eine robots.txt-Anweisung von der Verarbeitung/Crawling ausgeschlossen, sollte die X-Robots-Tag-Regel noindex festgelegt werden.
X-Robots-Tag auf der Seite prüfen
Ob ein X-Robots-Tag für eine Seite gesetzt wird, kann schnell mit dem Web Developer-Plugin (Chrome und Firefox) analysiert werden: „Information“ – „View Response Headers“
Es gibt auch viele andere Möglichkeiten, die Indexierungs- und Bereitstellungsregeln einer Seite im Browser anzuzeigen, zum Beispiel mit SEO META IN 1 CLICK oder mit der Ahrefs SEO Toolbar.
