Robots Meta Tag

Das Robots Meta Tag legt fest, wie eine Webseite von Suchmaschinen-Bots verarbeitet und in Suchmaschinen gefunden werden darf. Es wird im Head-Bereich des HTML Quellcode definiert.

HTML Syntax

Das Robots Meta Tag im oberen Beispiel verbietet allen Suchmaschinen-Bots die HTML Seite zu indexieren. Sollen die Gebote für bestimmte Bots gelten, ist pro Anweisung der Bot anzugeben, zum Beispiel: Googlebot und Googlebot-Image werden angewiesen, die HTML Seite nicht zu indexieren:

Robots Meta Tag Anweisungen

AnweisungErklärung
allEs bestehen keine Einschränkungen.
indexDie Webseite darf in der Websuche angezeigt und der Link „im Cache gespeichert“ angezeigt werden.
noindexDie Webseite darf nicht in der Websuche angezeigt und kein Link „im Cache gespeichert“ angezeigt werden.
followDer Crawler darf den Links auf der Webseite folgen.
nofollowDer Crawler darf den Links auf der Webseite nicht folgen.
noneEntspricht der Anweisung: „noindex,follow“.
noarchiveEs darf kein Link „im Cache gespeichert“ in der Websuche angezeigt werden.
nosnippetEs darf kein Snippet für diese Webseite in der Websuche angezeigt werden.
noodpEs dürfen keine Meta Informationen aus dem Open Directory Project dieser Webseite angezeigt werden.
(Nachtrag: Das ODP wurde 2017 geschlossen.)
notranslateEs darf keine Übersetzung dieser Webseite in der Websuche angezeigt werden.
noimageindexEs dürfen keiner Bilder dieser Webseite indexiert werden.
unavailable_after: [RFC-850 date/time]Diese Webseite darf nach dem angegebenen Datum bzw. der angegebenen Uhrzeit nicht mehr in der Websuche angezeigt werden. Das Datum bzw. die Uhrzeit muss im RFC 850-Format angegeben werden.

Die oben genannten Anweisungen können individuell verwendet werden. Mehrere Anweisungen werden durch Kommata getrennt. Wird kein Robots Meta Tag verwendet, gelten keine Einschränkungen für Suchmaschinen-Bots.

Verwendung in der Suchmaschinenoptimierung

Das Robots Meta Tag ist in der Suchmaschinenoptimierung ein zentrales Element bei der OnPage Optimierung. Am häufigsten werden folgende Anweisungen verwendet:

Crawler dürfen die Website indexieren und allen Links folgen

Crawler dürfen die Website nicht indexieren aber allen Links folgen

Crawler dürfen die Website indexieren aber keinen Links folgen

Crawler dürfen die Website nicht indexieren und keinen Links folgen

Zum Glossar