XML Sitemap und Bilder Sitemap mit Screaming Frog erstellen

  27. Januar 2018

Viele Websites und Online Shops stellen eine oder mehrere XML Sitemaps für Suchmaschinen zur Verfügung. Meist werden sie mit der Google Search Console verknüpft. Doch oft sind diese XML Sitemaps fehlerhaft, weil sie URLs enthalten, die nicht gecrawlt oder nicht indexiert werden dürfen oder durch Canonical Tags entwertet werden. In diesem Blog-Beitrag erkläre ich, wie Du eine fehlerfreie XML Sitemap oder Bilder Sitemap mit Screaming Frog SEO Spider erstellst und validierst.

Was ist eine XML Sitemap?

Eine XML Sitemap ist eine Textdatei mit Zeichenkodierung UTF-8, die eine Liste von URLs einer Website oder eines Online Shops enthält. Diese hilft Suchmaschinen dabei, wichtige Inhalte zu finden, um bessere Suchresultate zu ermöglichen. Eine XML Sitemap kann HTML Seiten, Bilder oder auch hreflang-Anmerkungen auflisten. Für jeden Dateityp sollte eine separate XML Sitemap bereitgestellt werden.

Aus SEO-Sicht sollte die XML Sitemap nur Ressourcen enthalten, die von Suchmaschinen-Bots gecrawlt werden dürfen, also nicht in der robots.txt ausgeschlossen sind. HTML Ressourcen müssen einen HTTP Statuscode 2xx liefern und indexierbar sein (Robots Meta Tag: „index“). Die Ressourcen dürfen nicht durch ein Canonical Tag entwertet werden.

Was ist der Screaming Frog SEO Spider?

Der Screaming Frog SEO Spider ist ein für PC oder Mac verfügbares Desktop-Programm, das Webseiten-Links, Bilder, CSS, Skripte und Apps aus SEO-Sicht durchsucht und technische Fehlkonfigurationen enttarnt, sowie offene Optimierungspotenziale herausstellt. Die Software zählt zu den populärsten und beliebtesten SEO-Tools weltweit.

XML Sitemap erstellen - Header

XML Sitemap vorbereiten

Im ersten Schritt müssen alle relevanten Daten für die Erstellung der XML Sitemap gesammelt werden. Öffne den Screaming Frog und wechsle in die Crawl-Einstellungen („Configuration > Spider“). Nun konfigurierst Du den Spider für die Daten, die gesammelt werden sollen, zum Beispiel:

Spider Configuration // Screaming Frog
Spider Configuration // Screaming Frog

Alternativ kannst Du unter Include/Exclude eigene Filter erzeugen. Wenn Dein Shop zum Beispiel auf mehrsprachigen Verzeichnissen aufbaut, kannst Du unter „Configuration > Include“ Filter erstellen, um sprachspezifische XML Sitemaps zu erzeugen. Möchtest Du zum Beispiel nur Inhalte im Verzeichnis „/de/“ crawlen, kannst Du folgende Einstellung vornehmen:

Configuration > Include Folder // Screaming Frog
Configuration > Include Folder // Screaming Frog

Das Selbe funktioniert natürlich inversiv mit dem Exclude-Filter, um ungewünschte Inhalte auszuschließen. Je genauer Du Deine Website kennst, desto genauer kannst Du mit Include/Exclude-Filtern arbeiten, um optimale eine optimale XML Sitemap zu erstellen.

Domain angeben und Crawl starten

Nun hast Du den Spider konfiguriert und musst nur noch deine Domain angeben und kannst den Crawl starten.

Domain eingeben und Crawl starten // Screaming Frog
Domain eingeben und Crawl starten // Screaming Frog

XML Sitemap generieren

Sobald der Crawl abgeschlossen ist, kannst du die XML Sitemap generieren. Wenn Du eine Liste aller internen HTML Seiten erstellen möchtest, gehst Du wie folgt vor:

  1. Wähle in der rechten Navigation: „Overview > SEO Elements > Internal > HTML“
  2. In der Hauptnavigation wählst Du nun „Sitemaps > Create XML Sitemap“

Schaue Dir die Ergebnisse an. Solltest Du ungewünschte URLs finden (zum Beispiel mit Sortierungsparameter), empfehle ich Dir diese im Exclude-Filter zu ergänzen und den Crawl zu wiederholen. URLs mit einem HTTP Statuscode > 2xx kannst Du allerdings ignorieren. Diese URLs werden wir bei der Sitemap-Generierung einfach ignorieren.

Nun nimmst Du folgende Einstellungen vor:

Pages Settings

Pages Setting - XML Sitemap Export Configuration // Screaming Frog
Pages Setting – XML Sitemap Export Configuration // Screaming Frog

Last modified

Last modified - XML Sitemap Export Configuration // Screaming Frog
Last modified – XML Sitemap Export Configuration // Screaming Frog

Priority

Priority Tag - XML Sitemap Export Configuration // Screaming Frog
Priority Tag – XML Sitemap Export Configuration // Screaming Frog

Change Frequency

Change Frequency - XML Sitemap Export Configuration // Screaming Frog
Change Frequency – XML Sitemap Export Configuration // Screaming Frog

Images

Diese Funktion empfehle ich zu deaktivieren und statt dessen eine separate XML Bilder-Sitemap zu erstellen. Der Vorteil: In der Google Search Console kannst Du alle XML Sitemaps einreichen, was die Fehlerbehebung vereinfacht.

Images - XML Sitemap Export Configuration // Screaming Frog
Images – XML Sitemap Export Configuration // Screaming Frog

Im nächsten Schritt wird die XML Sitemap erzeugt, die Du lokal speicherst.

XML Sitemap validieren

Nun hast Du eine XML Sitemap erzeugt und möchtest wissen, ob diese Fehlerfrei ist. Zum einen kannst Du die Datei mit einem Texteditor öffnen und die URL-Liste bewerten. Ich empfehle zusätzlich, diese mit dem Screaming Frog zu validieren – das geht so:

  1. Wähle im Hauptmenü „Mode > List“
  2. Klick auf das Feld „Upload“ und wähle „From a File“
  3. Wähle nun die gespeicherte XML Sitemap aus
  4. Screaming Frog teilt Dir mit, wie viele URLs gefunden wurden – stimmt das etwa?
  5. Wähle nun „Ok“ und starte den Crawl
XML Sitemap validieren // Screaming Frog
XML Sitemap validieren // Screaming Frog

Sobald der Crawl abgeschlossen ist, empfehle ich die verarbeiteten URLs zu bewerten: Sollen diese URLs in den Suchmaschinen-Index? Achte auch auf den HTTP Status Code jeder URL, dieser sollte „200“ sein. Wenn nicht, musst Du Korrekturen vornehmen. Wenn das stimmt, schaue auch in der Spalte „Canonical Link Element“, ob das Canonical Tag auf eine andere URL verweist. Trifft das zu, sollte die entsprechende URL ebenfalls aus der XML Sitemap entfernt werden. Anschließend kannst Du die XML Sitemap auf den Webserver uploaden und sie im Search Console-Konto verknüpfen.

Sonderfall: Bilder Sitemap

Wenn Deine Website bzw. Dein Online Shop viele Bilder enthält, kann es für Suchmaschinen hilfreich sein, wenn Du diese in einer Sitemap zusammenfasst. Die Generierung einer Bilder Sitemap ist genauso einfach, wie die einer herkömmlichen XML Sitemap. Ich fasse die Schritte kurz zusammen:

  1. Übernehme die Spider Configuration, wie oben dargestellt
  2. Crawle die Domain
  3. Wähle in der rechten Navigation: „Overview > SEO Elements > Internal > Images“
  4. In der Hauptnavigation wählst Du nun „Sitemaps > Create Images Sitemap“

Nun nimmst Du folgende Einstellungen vor:

Pages Settings

Pages Setting - Images Sitemap Export Configuration // Screaming Frog
Pages Setting – Images Sitemap Export Configuration // Screaming Frog

Last modified

Last Modified - Images Sitemap Export Configuration // Screaming Frog
Last Modified – Images Sitemap Export Configuration // Screaming Frog

Priority

Priority - Images Sitemap Export Configuration // Screaming Frog
Priority – Images Sitemap Export Configuration // Screaming Frog

Change Frequency

Change Frequency - Images Sitemap Export Configuration // Screaming Frog
Change Frequency – Images Sitemap Export Configuration // Screaming Frog

Images

Genial ist die Option, Bilder-URLs aus einem CDN zu ergänzen. Solltest Du CDNs nutzen, ist es ratsam diese Funktion zu verwenden.

Images - Images Sitemap Export Configuration // Screaming Frog
Images – Images Sitemap Export Configuration // Screaming Frog

Die generierte Bilder Sitemap kannst Du genauso validieren, wie eine herkömmliche XML Sitemap. Das empfehle ich Dir auch, ebenfalls die HTTP Status Codes und Canonical Tags zu bewerten.

Wenn sich die Inhalte Deiner Website bzw. Deines Shops häufig ändern, ist es empfehlenswert die Sitemap-Inhalte automatisiert mittels Cronjob zu erzeugen. Dadurch bleiben Suchmaschinen auf dem aktuellen Stand und die Crawlbarkeit wird optimiert. Auch hier lohnt es sich, alle Sitemaps hin und wieder zu validieren und Fehlertests durchzuführen.

  27. Januar 2018   Jens Fröhlich   Gepostet in: Technisches SEO, Tools   Schlagwörter: , ,  

Kommentare(4)

  • Nico
    25. November 2018, 17:25  Antworten

    Hallo Jens!

    Wie bekommt man denn die mit SF generierte Sitemap in die GSC? Die XML-Datei liegt ja auf dem lokalen PC und wenn ich es richtig sehen kann man in der GSC kein XML-File vom PC hochladen.

    thnx for helping
    Nico

    • Jens Fröhlich
      27. November 2018, 12:36

      Hallo Nico,

      die XML Sitemap lädst du einfach per FTP-Client auf den Server, so dass die XML Sitemap online verfügbar ist. Anschließend kannst Du die XML Sitemap in der GSC einreichen, viel Erfolg.

    • 3. Dezember 2018, 11:13

      Danke Dir. Hat alles funktioniert.

      Viele Grüße aus Karlsruhe
      Nico

      • Jens Fröhlich
        4. Dezember 2018, 10:42

        Gern geschehen und weiterhin viel Erfolg.

Komentar verfassen