Websites sollten eine XML Sitemap für Suchmaschinen zur Verfügung stellen, die im Idealfall in der Google Search Console verknüpft wird. Doch häufig sind Sitemaps fehlerhaft, weil sie URLs enthalten, die nicht gecrawlt/nicht indexiert werden dürfen. Diese Fehler sollten vermieden werden. In diesem Blog-Beitrag erkläre ich, wie Du eine fehlerfreie XML Sitemap oder Bilder Sitemap mit Screaming Frog erstellst und validierst.
Inhaltsverzeichnis
Was ist eine XML Sitemap?
Eine XML Sitemap ist eine Textdatei mit Zeichenkodierung UTF-8, die eine Liste von URLs enthält. Sie hilft Suchmaschinen dabei, wichtige Inhalte zu finden, um bessere Suchresultate zu ermöglichen. Eine XML Sitemap kann HTML Seiten oder Bilder oder hreflang Tags protokollieren. Für jeden Dateityp sollte eine XML Sitemap bereitgestellt werden.
Was ist der Screaming Frog SEO Spider?
Der Screaming Frog SEO Spider ist ein für Windows PC, Apple Mac und Linux verfügbares Desktop-Programm, das Webseiten-Links, Bilder, CSS, Skripte und Apps durchsucht, technische Fehlkonfigurationen enttarnt, sowie ungenutzte Potenziale herausstellt. Der SEO Spider zählt zu den beliebtesten SEO-Tools auf dem Markt.
XML Sitemap vorbereiten
Im ersten Schritt müssen alle relevanten Daten für die Erstellung der XML Sitemap gesammelt werden. Öffne den Screaming Frog und wechsle in die Crawl-Einstellungen (Configuration > Spider).
Nun konfigurierst Du den SEO Spider für die Daten, die gesammelt werden sollen, zum Beispiel:
Alternativ kannst Du unter Include / Exclude eigene Filter erzeugen. Wenn Dein Shop zum Beispiel auf mehrsprachigen Verzeichnissen aufbaut, kannst Du unter Configuration > Include Filter erstellen, um sprachspezifische Sitemaps zu erstellen. Möchtest Du zum Beispiel nur Inhalte im Verzeichnis /de/ crawlen, kannst Du folgenden Filter erstellen:
Das Selbe funktioniert inversiv mit dem Exclude-Filter, um ungewünschte Inhalte auszuschließen. Je besser Du Deine Website kennst, desto genauer kannst Du mit Include/Exclude-Filtern arbeiten, um Sitemaps zu erstellen.
Domain angeben und Crawl starten
Nun hast Du den SEO Spider konfiguriert und musst nur noch Deine Domain angeben und kannst den Crawl starten.
XML Sitemap generieren
Sobald der Crawl fertig ist, kannst du die XML Sitemap generieren. Wenn Du eine Liste aller internen HTML Seiten erstellen möchtest, gehst Du wie folgt vor:
- Wähle in der rechten Navigation: Overview > SEO Elements > Internal > HTML
- In der Hauptnavigation wählst Du: Sitemaps > Create XML Sitemap
Schaue Dir die Ergebnisse an. Solltest Du ungewünschte URLs entdecken, empfehle ich Dir, sie im Exclude-Filter zu ergänzen und den Crawl zu wiederholen.
Nun nimmst Du folgende Einstellungen vor:
Pages Settings
Last modified
Priority
Change Frequency
Images
Diese Funktion empfehle ich zu deaktivieren und statt dessen eine separate XML Bilder-Sitemap zu erstellen. Der Vorteil: In der Google Search Console kannst Du alle XML Sitemaps einreichen, was die Fehlerbehebung vereinfacht.
Im nächsten Schritt wird die XML Sitemap erzeugt, die Du lokal speicherst.
XML Sitemap validieren
Nun hast Du eine XML Sitemap erzeugt und möchtest wissen, ob sie Fehlerfrei ist. Zum einen kannst Du die Datei mit einem Texteditor öffnen und die URL-Liste bewerten. Ich empfehle zusätzlich, die Sitemap mit dem Screaming Frog zu validieren – das geht so:
- Wähle im Hauptmenü: Mode > List
- Klick auf das Feld Upload und wähle: From a File
- Wähle nun Deine lokal gespeicherte XML Sitemap aus
- Screaming Frog teilt Dir mit, wie viele URLs gefunden wurden – stimmt das?
- Wähle nun Ok und starte den Crawl
Sobald der Crawl abgeschlossen ist, empfehle ich die verarbeiteten URLs zu bewerten: Sollen diese URLs in den Suchmaschinen-Index?
Scanne die URLs, ob sie den HTTP Statuscode 200 liefern. Wenn nicht, müssen sie entfernt werden.
Schaue auch in der Spalte Canonical Link Element, ob das Canonical Tag auf eine andere URL verweist. Trifft das zu, sollte die entsprechende URL ebenfalls aus der XML Sitemap entfernt werden.
Anschließend kannst Du die XML Sitemap auf Deinen Webserver hochladen und sie im Search Console-Konto verknüpfen.
Sonderfall: Bilder Sitemap
Wenn Deine Website bzw. Dein Online Shop viele Bilder enthält, kann es für Suchmaschinen hilfreich sein, wenn Du diese in einer Sitemap zusammenfasst. Die Generierung einer Bilder Sitemap ist genauso einfach, wie die einer herkömmlichen XML Sitemap. Ich fasse die Schritte kurz zusammen:
- Übernehme die SEOSpider Configuration, wie oben dargestellt.
- Crawle die Domain.
- Wähle in der Navigation: Overview > SEO Elements > Internal > Images
- In der Hauptnavigation wählst Du nun: Sitemaps > Create Images Sitemap
Nun nimmst Du folgende Einstellungen vor:
Pages Settings
Last modified
Priority
Change Frequency
Images
Genial ist die Option, Bilder-URLs aus einem CDN zu ergänzen. Solltest Du CDNs nutzen, ist es ratsam diese Funktion zu verwenden.
Hallo Jens!
Wie bekommt man denn die mit SF generierte Sitemap in die GSC? Die XML-Datei liegt ja auf dem lokalen PC und wenn ich es richtig sehen kann man in der GSC kein XML-File vom PC hochladen.
thnx for helping
Nico
Hallo Nico,
die XML Sitemap lädst du einfach per FTP-Client auf den Server, so dass die XML Sitemap online verfügbar ist. Anschließend kannst Du die XML Sitemap in der GSC einreichen, viel Erfolg.
Danke Dir. Hat alles funktioniert.
Viele Grüße aus Karlsruhe
Nico
Gern geschehen und weiterhin viel Erfolg.
Hallo,
kann ich auch einfach aus einer Liste von URLs eine XML Sitemap mit dem SEOfrog erstellen? Ich habe gesehen, dass es online ein Tool gibt aber im Programm finde ich es nicht.
Hi Daniel,
eine XML-Sitemap mit Screaming Frog zu erstellen entspricht einer Export-Funktion. Dieser Export basiert auf einem durchgeführten Crawl. Mir ist nicht bekannt, dass man mit dem Screaming Frog SEO Spider eine XML-Sitemap basierend auf einer willkürlichen URL-Liste erstellen kann. Also Website crawlen und dann die XML-Sitemap mit dem Sitemap-Export konfigurieren und durchführen. Ich wünsche Dir maximale Erfolge.
Jens