Screaming Frog SEO Spider

 > SEO Blog > Screaming Frog SEO Spider
Interesse?
Rufen Sie an
0351 31446588

oder schreiben Sie
  9. Juni 2024

Der Screaming Frog SEO Spider ist eines der mächtigsten Scraper auf dem Markt. Mit ihm können große Websites gecrawlt und tiefgründig analysiert werden. Er bietet umfassende Konfigurationsmöglichkeiten und Segmentierungen, Schnittstellen zu GA4, GSC, PageSpeed Insights, Ahrefs, Majestic und Moz.

Was ist Screaming Frog SEO Spider?

Screaming Frog Markenzeichen
Der Screaming Frog SEO Spider ist ein Crawler zur Durchführung tiefgründiger SEO Audits. Er wird kostenlos zum Download für Windows-PC, MacOS und Ubuntu angeboten. Die kostenfreie Version eignet sich allerdings nur zum testen.
Eine Lizenz pro Nutzer kostet 239,00 EUR pro Jahr. Sie entsperrt alle Funktionen und hebt das Crawl-Limit von 500 URLs auf. Werden mehrere Lizenzen gekauft, wird Rabatt gewährt.

Screaming Frog Bewertung

Der Screaming Frog ist der Benchmark für alle SEO Spider und mein bevorzugtes Crawling Tool für tiefgründige Website Audits. Man benötigt einen leistungsfähigen Desktop-PC mit viel Speicher, um große Websites vollständig zu crawlen. Dafür kann bisher kein anderes Crawl Tool, wie Audisto oder Sitebulb, den Screaming Frog als meinen Favorit verdrängen.

Gesamt Four and a half yellow rating stars 4.5/5
Benutzerfreundlichkeit Three and a half yellow rating stars 3.5/5
Funktionsumfang Five yellow rating stars 5/5
Dokumentation (FAQ) - Four yellow rating stars 4/5
Preis-Leistungs-Verhältnis Five yellow rating stars 5/5
Empfehlungswahrscheinlichkeit Five yellow rating stars 5/5

Woher hat der Screaming Frog seinen Namen?

Der Name Screaming Frog wurde von einem Frosch 🐸 inspiriert, der sich wehrte, nachdem er von zwei Katzen in Dan Sharps (Mitbegründer von Screaming Frog) Garten in die Enge getrieben wurde. Hier gibt es die komplette Story.

Was macht Screaming Frog besonders gut?

Der größte Vorteil vom Screaming Frog ist sein Funktionsumfang. Er ist aus meiner Sicht der beste SEO Crawler, um große Websites (+500.000 Seiten) vollständig zu analysieren.

  • Umfangreiche Crawl Konfiguration
  • JavaScript-Crawling und -Rendering
  • API-Zugang zu anderen Diensten (GA4, GSC, PageSpeed Insights, Ahrefs, Majestic und Moz)
  • Scheduling: Crawls automatisiert planen und durchführen
  • Crawl-Berichte in Looker Studio automatisieren (hier)

Was sind die Nachteile vom Screaming Frog?

Der größte Nachteil ist der Ressourcen-Verbrauch. Möchte man mit dem Screaming Frog große Websites (+500.000 URLs) crawlen, benötigt man einen leistungsstarken PC. Denn der SEO Spider wird lokal installiert. Crawl-Daten können bei wenig Arbeitsspeicher auch auf die HDD geschrieben werden (Database Storage), idealerweise eine SSD. Allerdings hat man das Problem bei der Verwendung von SaaS-Lösungen nicht, wie Audisto oder Sitebulb.

Screaming Frog SEO Spider 20.1: Speicherzuweisung

  • Lokale Installation: Ressourcen-hungrig (Arbeitsspeicher/SSD)
  • Für technisch erfahrene SEOs und Web-Entwickler geeignet
  • Etwas sperrige Tabellenbasierte Benutzeroberfläche

Funktionsumfang vom Screaming Frog

  • Defekte Links, Fehler und Weiterleitungen identifizieren
  • Analyse von Seitentiteln und Metadaten
  • Daten mit XPath extrahieren
  • XML-Sitemaps generieren
  • JavaScript-Webseiten crawlen
  • Zeitplan für Audits
  • Weiterleitungen (-schleifen) auswerten
  • Duplizierte Inhalte ermitteln
  • Integration mit GA, GSC und PSI
  • Visualisierung der Site-Architektur
  • Crawls miteinander vergleichen
  • Überprüfung Meta Robots & Richtlinien
  • XML-Sitemaps bewerten
  • Validierung von strukturierten Daten
  • Rechtschreib- und Grammatikprüfung
  • Benutzerdefinierte Quellcode-Suche
  • Benutzerdefinierte Extraktion
  • Standard- und Formularbasierte Authentifizierung (Staging)
  • Raw und gerendertes HTML speichern und vergleichen
  • Individuelle robots.txt-Konfiguration (robots.txt Check)
  • AMP Crawling & Validierung

Zielgruppen

Vor allem technisch erfahrene Suchmaschinenoptimierer und Entwickler erhalten mit dem Screaming Frog alle Möglichkeiten, um ausführliche Website Audits zu erstellen.

Für Website-Betreiber und Marketing-Fachkräfte ohne technisches Verständnis sind die komplexen Konfigurationsmöglichkeiten und Berichte sicher etwas unübersichtlich. Es erfordert etwas Zeit, um die tabellenbasierte Nutzeroberfläche zu verstehen und zu konfigurieren, die Crawl-Konfiguration durchzuarbeiten und die Crawl-Daten richtig zu interpretieren.

Screaming Frog Modi

Bei der ersten Anwendung fragt man sich meist, wie der Screaming Frog funktioniert. Er bietet vier verschiedene Modi:

Modus Beschreibung
SEO Spider Die beliebteste Funktion ist der SEO Spider-Modus, mit dem man eine URL als Ausgangspunkt für das Crawling festlegt. Das ist meist die Startseite einer Website. Der Screaming Frog spidert diese URL und folgt den Links im HTML-Code und weiterer Quellen entsprechend der Crawl-Konfiguration. Die gesammelten Daten werden in Tabellen und Diagrammen dargestellt.
Liste Mit dem Liste-Modus wird eine URL-Liste gecrawlt. Sie wird als Excel-Datei importiert oder aus der Zwischenablage eingefügt. Damit kann man die HTTP-Statuscodes beliebiger URLs schnell ermitteln.
SERP Der SERP-Modus bietet die Möglichkeit, die Länge vom Seitentitel und der Seitenbeschreibung zu bewerten. Beide Meta Tags sind wichtige Bestandteile vom SERP Snippet einer Seite. Es erfolgt kein Crawling.
Vergleichen Der Vergleichen-Modus ermöglicht es, zwei Crawls miteinander zu vergleichen. Er bietet sich bei einem Relaunch an, um das Testsystem mit der live-Website zu vergleichen oder um Änderungen wichtiger Prüfkriterien vor und nach erfolgten Maßnahmen der Website zu vergleichen.

SEO Spider Konfiguration

Das Konfigurationsmenü vom Screaming Frog bietet im SEO Spider (früher: Crawl-Modus) umfassende Einstellmöglichkeiten für den Crawl. Es ist empfehlenswert, ausreichend Zeit zu investieren. Viele Crawl-Einstellungen besitzen Tooltips, um die jeweilige Einstellung näher zu beschreiben.

Screaming Frog SEO Spider 20.1: Crawl-Konfiguration

Konfiguration Beschreibung
Spider Im Spider-Menü werden grundlegende Einstellungen zum Crawl-Verhalten vorgenommen, welche Linktypen gecrawlt und gespeichert werden sollen. Man kann festlegen, welche Elemente und Daten während des Crawls extrahiert, gespeichert und analysiert werden sollen. Limits können individuell bestimmt werden, wie die Crawlanzahl und Crawltiefe. Wichtige Einstellungen zum Rendering können individuell eingestellt werden.
Inhalt Hier kann man konfigurieren, wie SEO Spider den Inhalt der gecrawlten Seiten analysiert. Man kann den Inhaltsbereich individuell bestimmen, den Umgang mit Duplikaten festlegen und optional die Rechtschreib- und Grammatikprüfung aktivieren.
robots.txt Hier kann man festlegen, ob die Anweisungen der robots.txt-Datei der Website ignoriert werden sollen bzw. wie die Daten ausgeschlossener Ressourcen in den Screaming Frog-Reports dargestellt werden sollen. Es ist möglich, eine temporäre robots.txt-Datei für den Crawl zu erstellen und die Anweisungen auf dem Webserver zu überschreiben.
URL-Umschreibung Mit dieser Einstellung kann man die von SEO Spider gecrawlten URLs umschreiben. Das kann helfen, unnötiges Crawlen zu vermeiden und die Crawl-Zeit zu reduzieren.
CDNs Werden verschiedene Ressourcen per CDN eingebunden, kann hier eine Liste von Subdomains und Verzeichnissen notiert werden, damit diese Ressourcen beim Crawlen erfasst und als intern betrachtet werden.
Einbeziehen Hier können Regular Expressions für URLs definiert werden, die beim Crawling zu beachten sind.
Ausschließen Hier können Regular Expressions für auszuschließende URLs festgelegt werden.
Geschwindigkeit Diese Einstellungen konfigurieren die Geschwindigkeit der von SEO Spider gemachten Anfragen, entweder über die Anzahl gleichzeitiger Threads sowie über die Anzahl der URLs, die pro Sekunde angefragt werden.
Benutzer Agent Hier kann man den User-Agent festlegen, den SEO Spider für den Crawl verwendet. Diese Einstellungen wirken sich auf die Robots-Anweisungen aus.
HTTP Header Man kann die HTTP-Header anpassen, die SEO Spider für den Crawl verwendet. So können beliebige Header oder Werte angegeben werden – wie Accept-Language, Cookie, Referer.
Eigene Eigene Suche ist eine einfache Suchfunktion im Quellcode von HTML Seiten oder PDFs. Damit können einfache Regular Expressions festgelegt werden.
Die Benutzerdefinierte Extraktion ermöglicht es, mithilfe von XPath, CSS-Pfad oder RegEx Daten aus internen HTML Seiten zu extrahieren. Außerdem können die Positionen von Links auf einer Seite definiert werden. Auch können eigene JavaScript-Snippets auf internen HTML-Seiten ausgeführt werden.
API Zugang Screaming Frog bietet Möglichkeiten, URL-Daten verschiedener Dienste per API zu beziehen und die URLs zu spidern: Google Universal Analytics, Google Analytics 4, Google Search Console, PageSpeed Insights, Ahrefs, Majestic und Moz.
Authentifizierung Testsysteme können mit Screaming Frog gespidert werden. Die Authentifizierung kann standardbasiert oder Webformular-basiert erfolgen.
Segmente Durch eigene Segmente können Schwerpunktbereiche definiert werden. So können die Crawl-Daten individuell gefiltert und eingeschränkt werden. Ich finde Segmente für große Websites sehr hilfreich.

Probleme-Protokoll

Gut gelöst finde ich das Probleme-Protokoll, das eine Übersicht wichtiger Prüfkriterien liefert, um einen schnellen Überblick zu Problemen und Warnungen zu erhalten. Man öffnet es in der Reiter-Navigation Probleme vom Übersicht-Reiter.

Was ist der Übersicht-Reiter? Im Screaming Frog befindet sich der Übersicht-Reiter auf der rechten Seite und listet alle Prüfkriterien des Crawls auf. Durch Klicken auf ein Prüfkriterium öffnet man die jeweilige Datentabelle.

Visualisierungen: Crawlbaumgraph

Screaming Frog bietet verschiedene Visualisierungen für eine gecrawlte Website an. Den Crawlbaumgraph finde ich am hilfreichsten, um die Website-Architektur zu visualisieren.

Der Crawlbaumgraph zeigt an, wie der SEO Spider eine Website gecrawlt hat, und zwar nach dem kürzesten Pfad zu einer Seite von der Start-URL. Er zeigt nicht jeden internen Link, weil das die Visualisierungen schwer skalierbar und unverständlich machen würde. Wenn eine Seite mehrere Links aus der gleichen Tiefe besitzt, wird derjenige Link angezeigt, der zuerst gecrawlt wurde. Die Crawl-Visualisierungen sind hierarchisch nach Crawl-Tiefe geordnet, und die Linien zwischen URLs stellen den kürzesten Pfad dar. Das macht den Crawlbaumgraph sehr nützlich für die Analyse der Website-Architektur und der internen Verlinkung.

Screaming Frog SEO Spider 20.1: Crawlbaumgraph

Berichte exportieren

Sobald ein Crawl abgeschlossen ist, können alle Datentabellen exportiert werden. Dazu klickt man auf den Export-Button (oranger Rahmen im Screenshot), um alle Daten eines Berichts zu exportieren.

Screaming Frog SEO Spider 20.1: Export Möglichkeiten

Massenexport

Analog zu den Reports können verschiedene vordefiniertes Massenexports erstellt werden, um die Crawl-Daten in Excel oder einem anderen Programm (Apple Numbers) weiter zu bearbeiten. Massenexports können im Hauptmenü aufgerufen werden.

Screaming Frog SEO Spider 20.1: Massenexports

🔥 Screaming Frog Anwendungstipps

  1. Nicht crawlbare URLs ermitteln
  2. Nicht indexierbare URLs ermitteln
  3. Interne Client-Fehler (4xx) ermitteln
  4. Canonicalized URLs nicht verarbeiten
  5. Insecure Content aufdecken
  6. Strukturierte Daten auswerten
  7. SERP Snippets optimieren
  8. Externe Dienste per API einbinden
  9. Orphan URLs ermitteln
  10. Testumgebung crawlen
  11. Interne Suche verwenden
  12. Include und Exclude Filter notieren
  13. Custom Extraction-Filter verwenden
  14. URL-Liste exakt crawlen (Listen-Modus)

Nicht crawlbare URLs ermitteln

Bei jedem professionellen SEO-Audit wird die Crawlbarkeit interner URLs geprüft. Vor einem Website-Crawl empfehle ich eine Konfiguration zu wählen, dass die robots.txt-Anweisungen beachtet werden: Konfiguration > robots.txt > robots.txt respektieren auswählen. Die betreffenden URLs werden im Übersicht-Reiter Antwort-Codes > Von robots.txt gesperrt inkl. der Anweisung dokumentiert. Fehlkonfigurationen können somit schnell ermittelt werden.

Screaming Frog SEO Spider 20.1: Von robots.txt gesperrt

Möchte man die robots.txt-Anweisungen auf dem Webserver überschreiben, ist das in den robots.txt-Einstellungen der Crawl-Konfiguration möglich. unter Eigene Robots werden die individuellen Anweisungen notiert. Diese Anweisungen kann man vor dem Crawling testen.

Nicht indexierbare URLs ermitteln

Alle crawlbaren URLs sollten bei einem SEO Audit bezüglich deren Indexierbarkeit analysiert werden, um zu ermitteln, ob relevante Seiten durch technische Fehlkonfigurationen (Meta Robots Tag/ Canonical Tag) vom Indexieren ausgeschlossen werden. Die Daten lassen sich im SEO Spider-Modus ermitteln.

Screaming Frog SEO Spider 20.1: Nicht indexierbare Seiten ermitteln

Interne Client-Fehler (4xx) ermitteln

Der Bericht Interne Client-Fehler (4xx) unter Antwort-Codes im Übersicht-Reiter listet alle URLs auf, die nicht verfügbar sind und einen HTTP Statuscode 4xx generieren. Auf diesen Seiten ist die Absprungrate sehr hoch. Deshalb sollten interne Verlinkungsfehler vermieden werden. Bei jedem Crawling sollten diese Daten analysiert und Fehler korrigiert werden.

Screaming Frog SEO Spider 20.1: Interner Client-Fehler (4xx)

Canonicalized URLs nicht verarbeiten

Wenn große Websites gecrawlt werden und der Fokus auf indexierbaren URLs liegt, hilft die Funktion Canonicals respektieren – über Konfiguration > Spider > Fortgeschritten. Diese Einstellung bewirkt, dass URLs, die auf eine andere URL canonicalized sind, nicht in SEO Spider erfasst werden.

Screaming Frog SEO Spider 20.1: Canonicals respektieren

Sind alle Get-Parameter der Website bekannt, die aufgrund von Canonical Tags nicht gecrawlt werden sollen, bietet sich die Verwendung der Funktion URL-Umschreibung an. (Konfiguration > URL-Umschreibung > Parameter entfernen) Pro Zeile kann ein Parameter notiert werden, den der Screaming Frog beim Crawlen ignorieren soll. Ein Beispiel ist der Parameter ?sid= der oft in Shopware gesichtet wird. Sollen diese URLs beim Spidern nicht erfasst werden, dann braucht nur sid hinterlegt zu werden.

Screaming Frog SEO Spider 20.1: URL Umschreibung

Insecure Content aufdecken

Dass HTTPS heute Standard für jede Website ist, sollte bekannt sein. Screaming Frog bietet einen Filter, um URLs zu identifizieren, die intern nicht per HTTPS verlinkt sind und korrigiert werden sollten. Dieser Filter befindet sich rechts im Overview unter Sicherheit > HTTP-URLs.

Strukturierte Daten auswerten

Seit Version 11 liest der Screaming Frog Structured Data aus. Diese Filter sind interessant, wenn der technische und OnPage Optimierungsgrad der Website hoch ist, keine internen Fehler bestehen, Seitentitel, Seitenbeschreibung, Headlines und Images optimiert sind und natürlich die Indexierungslogik optimal ausgerichtet ist.

Die Strukturdaten sind im Übersicht-Reiter unter Strukturierte Daten zu finden. Besonders hilfreich sind die Filter, um Validierungsfehler und Warnungen zu ermitteln.

Screaming Frog SEO Spider 20.1: Strukturierte Daten

SERP Snippets optimieren

SERP Snippets sind der erste Kontaktpunkt mit dem Suchmaschinen-Nutzer. Deshalb sollten wichtige Seiten einen optimalen Seitentitel und eine optimale Seitenbeschreibung erhalten. Mit dem Screaming Frog lassen sich diese Daten schnell auswerten. Ich verwende dafür gern den Bericht Intern > HTML im Übersicht-Reiter.

In der unteren Reiter-Navigation befindet sich unter SERP-Ausschnitt ein SERP Snippet Tool, mit dem der Seitentitel und die Seitenbeschreibung einer Seite bewertet werden kann. Man kann temporär ein besseres SERP Snippet erstellen und verschiedene Darstellungen testen.

Screaming Frog SEO Spider 20.1: SERP-Snippet optimieren

Externe Dienste per API einbinden

Screaming Frog kann im SEO Spider-Modus API-Daten von externen Diensten einbinden: Google Universal Analytics, Google Analytics 4, Google Search Console, Ahrefs, Majestic und Moz. Jeder Dienst muss verifiziert werden.

Screaming Frog SEO Spider 20.1: API-Zugang

Orphan URLs ermitteln

Als Orphan URLs (Verwaiste Seiten) werden in der Suchmaschinenoptimierung Seiten bezeichnet, die durch eine schlechte interne Verlinkung nicht von Suchmaschinen-Bots gefunden und nicht verarbeitet werden können. Mit Screaming Frog SEO Spider können Orphan URLs enttarnt werden. Voraussetzung hierfür ist die Verwendung der Google Analytics-API oder der Search Console-API, sowie nach dem abgeschlossenen Crawl die Durchführung einer Crawl-Analyse.

Screaming Frog SEO Spider 20.1: Crawl-Analyse

Testumgebung crawlen

Mit Screaming Frog SEO Spider können geschützte Testumgebungen (Standardbasiert oder Formularbasiert) gecrawlt werden. Die Zugangsdaten gibt man in der Crawl-Konfiguration unter Authentifizierung vor dem Crawling ein.

Screaming Frog SEO Spider 20.1: Authentifizierung

Interne Suche verwenden

Die interne Suchfunktion ist ein mächtiges Feature vom Screaming Frog SEO Spider. Hier können Daten gesucht werden, zum Beispiel alle Adressen, die einen bestimmten Begriff besitzen. Im Suchfeld können sogar reguläre Ausdrücke (Regular Expression) verwendet werden – ein paar Beispiele:

Regulärer Ausdruck Haken bei Funktion
.html$ Address Alle URLs, die mit .html enden
(?i)LTE(?-i) Address Alle URLs mit dem regulären Ausdruck LTE (Großbuchstaben)
^4 Status Code Alle URLs, deren Statuscode mit 4 beginnt

Include und Exclude Filter notieren

Include Filter eignen sich immer dann, wenn bestimmte Teilbereiche einer Website gecrawlt werden sollen. Angenommen eine Website wird in mehreren Sprachen bereitgestellt. Jede Sprachversion befindet sich in einem Verzeichnis (z. B. /de/ und /en/ und /fr/). Soll nur eine bestimmte Sprachversion der Website untersucht werden, hinterlegt man vor dem Crawling einen Include-Filter – zum Beispiel für das Verzeichnis /de/.

Screaming Frog SEO Spider 20.1: Include-Filter

Im Gegensatz können für einen Crawl auch Exclude-Filter definiert werden, sodass bestimmte URLs und Verzeichnisse beim Crawlen ignoriert werden. In meinem Beispiel werden alle URLs mit dem Pfad /en/ ignoriert. Es können mehrere Excludes festgelegt werden. Pro Zeile wird ein Exclude-Filter notiert.

Screaming Frog SEO Spider 20.1: Exclude-Filter

Custom Extraction-Filter verwenden

Durch Custom Extraction Filter können individuelle Filter für einen Crawl definiert werden. Diese mächtige Funktion befindet sich im Hauptmenü unter Konfiguration > Eigene > Benutzerdefinierte Extraktion. Wer technisch erfahren ist, kann sehr hilfreiche Filter erstellen.

Tipp: In meinem Blog-Beitrag XPath Custom Extraction-Filter mit Screaming Frog dokumentiere ich viele XPath-Beispiele zum ausprobieren.

Screaming Frog SEO Spider 20.1: Custom Extraction

Die Daten werden im Übersicht-Reiter unter Benutzerdefinierte Extraktion > bereitgestellt.

Screaming Frog SEO Spider 20.1: Benutzerdefinierte Extraktion im Übersicht-Reiter

URL-Liste exakt crawlen (Listen-Modus)

Soll eine URL-Liste gecrawlt werden, bei der ausschließlich die angegebenen URLs gecrawlt werden sollen, dann hilft folgender Tipp:

  1. Listen-Modus auswählen
  2. File > Configuration > Clear Default Configuration
  3. Upload auswählen und URL-Liste hochladen oder aus Zwischenablage einfügen
  4. Start

Clear Default Configuration löscht alle individuellen Konfigurationen. Zuvor sollte ein Backup der eigenen Default-Settings erfolgen: File > Configuration > Safe As…

Screaming Frog Alternativen

Für mich ist Screaming Frog SEO Spider nahezu der perfekte Website Crawler. Einzig die lokale Installation und das sperrige Tabellenlayout dämpfen die Nutzerzufriedenheit ein wenig. JavaScript Crawling und Rendering, Export-Möglichkeiten, Funktionsumfang und die Möglichkeit Millionen von URLs zu crawlen machen den Screaming Frog fast konkurrenzlos. Empfehlenswerte Alternativen, die ich mit einem guten Gefühl empfehlen kann, sind: Ahrefs Site Audit Tool, Sitebulb und Audisto Crawler.

Von Screaming Frog empfohlen

Das Screaming Frog-Team ist auf diesen Beitrag aufmerksam geworden und findet ihn sehr empfehlenswert.

Excellent @screamingfrog SEO Spider guide and overview (in German) – https://t.co/PcP71UgCX1 from @Jens_Froehlich

— Screaming Frog (@screamingfrog) 10. April 2019

  9. Juni 2024   Jens Fröhlich  

Kommentare(0)

Kommentar verfassen

DSGVO Cookie Consent mit Real Cookie Banner