robots.txt Tester

 > SEO Blog > robots.txt Tester
Interesse?
Rufen Sie an
0351 31446588

oder schreiben Sie
  21. April 2019

Die Crawlbarkeit einer HTML Ressource (Webseite, Bild, CSS-/JS-Datei, …) wird durch robots.txt-Anweisungen deklariert. Um zu bewerten, ob eine Ressource von Suchmaschinen-Bots gecrawlt werden kann, eignen sich diverse robots.txt Tester. In diesem Beitrag stelle ich verschiedene Tools vor, um blockierte URLs zu ermitteln.

Unterschied Crawlbarkeit und Indexierbarkeit

Zwischen der Crawl- und Indexierbarkeit liegt ein wesentlicher Unterschied: Crawlbarkeit bedeutet, dass eine Crawl-Software, zum Beispiel Googlebot, eine bestimmte Ressource verarbeiten darf. Diese Anweisungen werden in der robots.txt-Datei definiert.

Die Indexierbarkeit legt fest, dass eine crawlbare Ressource von Suchmaschinen in deren Suchindex aufgenommen werden kann/nicht aufgenommen werden kann. Grundsätzlich werden diese Anweisungen im HTML Quellcode durch das Robots Meta Tag und optional Canonical Tag festgelegt. Nicht-crawlbare Webseiten können keine Keyword-Rankings in Suchmaschinen aufbauen. Deshalb ist es wichtig zu bewerten, welche Ressourcen nicht gecrawlt werden können.

Wichtige Webseiten und alle Ressourcen die für die Darstellung der Webseite (wie Bilder, CSS-/JS-Dateien, Fonts) erforderlich sind, müssen für Suchmaschinen-Bots crawlbar sein. Die Prüfung erfolgt mit einem geeigneten robots.txt Tester.

Tipp! robots.txt Tester vom Screaming Frog SEO Spider

Der Screaming Frog SEO Spider ist beliebte eine Desktop-Software, mit der tiefgründige technische und OnPage SEO-Audits durchgeführt werden können. Die Spider-Software bietet einen robots.txt Tester den ich sehr gern verwende. Um die Crawlbarkeit von einer Ressource zu prüfen, muss kein Crawl durchgeführt werden.

Im Screaming Frog SEO Spider klickt man im Hauptmenü auf „Configuration“ und wählt „robots.txt“ > „Custom“.

robots.txt Tester vom Screaming Frog SEO Spider
robots.txt Tester vom Screaming Frog SEO Spider

Im robots.txt Tester klickt man auf den „Add“-Button (1) und bestätigt die vom Screaming Frog ermittelte robots.txt-URL oder gibt diese manuell an. Nun lädt die Software die Anweisungen der robots.txt-Datei. In der Zeile darunter (2) kann nun die relative URL einer Web-Ressorce angegeben werden, um zu prüfen, ob diese durch eine Anweisung blockiert wird.

robots.txt testen und konfigurieren mit dem Custom Robots Configuration-Tool
robots.txt testen und konfigurieren mit dem Custom Robots Configuration-Tool

Alternativ kann man auch die durch einen Crawl identifizierten blockierten URLs mit dem robots.txt-Tester genauer bewerten und vorhandene Regeln modifizieren. Achtung: Wird die robots.txt modifiziert, gilt das nur der Simulation im Screaming Frog SEO Spider. Die modifizierten Regeln müssen anschließend in der robots.txt-Datei auf dem Webserver bereitgestellt werden.

Blockierte URLs im Crawl-Mode vom Screaming Frog identifizieren und bewerten
Blockierte URLs im Crawl-Mode vom Screaming Frog identifizieren und bewerten

URL-Prüfung mit der Google Search Console

Die neue Google Search Console stellt den bewährten robots.txt Tester leider nicht mehr bereit. Allerdings kann mit der Funktion URL-Prüfung bewertet werden, ob der Googlebot eine Webseite crawlen und indexieren kann.

Zunächst wählt man „URL-Prüfung“ links in der Navigation aus (1). Anschließend gibt man im Suchfeld (2) die absolute URL der Webseite ein, die getestet werden soll. Stehen die Daten bereit, klickt man rechts auf „Live-URL testen“ (3).

URL-Prüfung mit der Google Search Console
URL-Prüfung mit der Google Search Console

Sobald der Live-URL Test abgeschlossen ist, erhält man eine Information, ob die Webseite für URL verfügbar ist, bzw. indexiert werden kann. Wenn die Indexierung ausgeschlossen ist, erhält man durch Klicken auf das Inhaltselement „Verfügbarkeit“ (4) Informationen.

Live-URL Test mit der Google Search Console
Live-URL Test mit der Google Search Console

robots.txt Generatoren

Im Internet gibt es zahlreiche Anbieter von robots.txt Generatoren. Für die Erstellung einer simplen robots.txt-Datei sind diese Generatoren durchaus empfehlenswert. Werden jedoch fortgeschrittene Anweisungen erforderlich, ist die Validierung und Feinjustierung mit dem Screaming Frog robots.txt Tester nach meiner Erfahrung die beste Wahl.

  21. April 2019   Jens Fröhlich   Gepostet in: Technisches SEO, Tools  

Kommentare(1)

  • unbekannt
    18. Oktober 2019, 14:42  Antworten

    Hallo Jens,

    vielen Dank für diesen informativen Artikel! Vielleicht noch ein Zusatzinfo, da hier oft eine falsche Annahme besteht. Ausschluss der robots.txt bedeutet nicht automatisch, dass die Seite nicht indexiert wird. Es kann trotzdem sein, dass die Suchmaschinen die Seite in deren Index aufnehmen.

Kommentar verfassen