Meta Robots Tag

 > SEO Wissen > Meta Robots Tag
Interesse?
Rufen Sie an
0351 31446588

oder schreiben Sie
  11. Februar 2024

Mit dem Meta Robots Tag werden Indexierungs- und Bereitstellungsregeln für eine Webseite festgelegt. Vor allem, ob sie von Suchmaschinen indexiert werden darf. Es wird im Head-Bereich vom HTML-Code angegeben.

Das Meta Robots Tag wird für eine Seite definiert. Jede crawlbare Seite kann individuelle Indexierungs- und Bereitstellungsregeln besitzen. Wird kein Meta Robots Tag verwendet, dann interpretieren User-agents diese Seite als index,follow (darf indexieren und den Verlinkungen im HTML-Code folgen).

Meta Robots Tag verwenden

Das Meta Robots Tag in diesem Beispiel verbietet allen User-agents die Seite zu indexieren:

Sind Regeln für ausgewählte User-agents notwendig, wird für jeden User-agent eine Regel im HTML-Head notiert. In diesem Beispiel dürfen alle Bots die Seite indexieren, der Googlebot und der Googlebot-Image dürfen die Seite nicht indexieren:

Indexierungs- und Bereitstellungsregeln

Für content können eine oder mehrere Regeln für den User-agent notiert werden. Sie dürfen sich nicht gegenseitig ausschließen. Die Verwendung von index und noindex darf nicht für die selbe Seite erfolgen. Das gilt auch für follow und nofollow.

Regel Erklärung
all Es bestehen keine Einschränkungen.
index Die Seite darf in der Websuche angezeigt und der Link “im Cache gespeichert” angezeigt werden.
noindex Die Seite darf nicht in der Websuche angezeigt und kein Link “im Cache gespeichert” angezeigt werden.
follow Der Crawler darf den Links auf der Seite folgen.
nofollow Der Crawler darf den Links auf der Seite nicht folgen.
none Entspricht den Regeln: “noindex,follow”.
noarchive Es darf kein Link “im Cache gespeichert” in der Websuche angezeigt werden.
nosnippet Es darf kein Snippet für diese Seite in der Websuche angezeigt werden.
noodp Es dürfen keine Meta Informationen aus dem Open Directory Project dieser Seite angezeigt werden.
(Nachtrag: Das ODP wurde 2017 geschlossen.)
notranslate Es darf keine Übersetzung dieser Seite in der Websuche angezeigt werden.
noimageindex Es dürfen keiner Bilder dieser Seite indexiert werden.
unavailable_after: [RFC-850 date/time] Diese Seite darf nach dem angegebenen Datum bzw. der angegebenen Uhrzeit nicht mehr in der Websuche angezeigt werden. Das Datum bzw. die Uhrzeit muss im RFC 850-Format angegeben werden.

Werden keine Angaben gemacht, gelten keine Einschränkungen.

Verwendung in der Suchmaschinenoptimierung

Das Meta Robots Tag (Meta Robots) ist in der Suchmaschinenoptimierung eine wichtige SEO-Maßnahme zur Indexierungssteuerung. Häufig werden folgende Regeln verwendet:

Crawler dürfen die Seite indexieren und allen Links folgen:

Crawler dürfen die Seite nicht indexieren aber allen Links folgen:

Crawler dürfen die Seite indexieren aber keinen Links folgen:

Crawler dürfen die Seite nicht indexieren und keinen Links folgen:

Noindex und Canonical Tag

Beispiel: Meta Robots Tag und Canonical Tag // SEO META IN 1 CLICKJohn Müller von Google informierte Ende 2021 in einem Google SEO office-hours hangout (Quelle): Auch die Verwendung eines Canonical Tags in Kombination mit noindex ist möglich. Diese Option bietet sich zum Beispiel an, wenn Backlinks auf eine Seite verlinken, die nicht indexiert werden soll (noindex) und für die man eine andere interne Seite bevorzugt (Canonical). Diese Kombination ist zwar exotisch, kann aber bei Bedarf verwendet werden. Mit dem Chrome Browser-Plugin SEO META IN 1 CLICK (Bild links) können die Daten einer Seite ausgelesen und bewertet werden, ohne den HTML-Code zu lesen.

robots.txt vs. Meta Robots Tag

Häufig liegt ein Missverständnis zwischen der robots.txt-Datei und dem Meta Robots Tag vor: Anweisungen in der robots.txt-Datei legen fest, welche Ressourcen Suchmaschinen und Scraper verarbeiten bzw. crawlen dürfen. Dagegen weist das Meta Robots Tag an, ob Crawler eine Seite indexieren und den Links im HTML-Code folgen dürfen. Wird eine Seite durch eine robots.txt-Anweisung von der Verarbeitung/Crawling ausgeschlossen, sollte die Meta Robots Tag-Regel noindex festgelegt werden.

Meta Robots Tag und X-Robots-Tag

Die Regeln für eine Seite werden durch das Meta Robots Tag oder durch das X-Robots-Tag angegeben. Nicht selten werden widersprüchliche Daten hinterlegt, was zu Problemen führen kann. Ob ein X-Robots-Tag für eine Seite gesetzt wird, kann schnell mit dem Web Developer-Plugin (Chrome und Firefox) analysiert werden: “Information” – “View Response Headers”

View Response Headers // Web Developer Plugin
View Response Headers // Web Developer Plugin
Beispiel: X-Robots-Tag // Web Developer Plugin
Beispiel: X-Robots-Tag // Web Developer Plugin

Google Bewertung
5.0
×
js_loader
Google Bewertung
5.0
×
js_loader