SEO Logfile-Analyse mit Screaming Frog

 > SEO Blog > SEO Logfile-Analyse mit Screaming Frog
Interesse?
Rufen Sie an
0351 31446588

oder schreiben Sie
  11. April 2019

In Zeiten von Web Scraping, Web Harvesting und Web Mashups wächst der Bedarf an effektiven Möglichkeiten der Logfile-Analyse. Schließlich kann man wichtige Erkenntnisse darüber erhalten, welche Bots/Scraper wie oft und wie intensiv auf die Website zugreifen und Daten sammeln. Die Macher des beliebten Screaming Frog SEO Spider haben einen SEO Log File Analyser entwickelt. Damit können Logfiles analysiert werden – in Form von Tabellen und anschaulichen Diagrammen.

Screaming Frog SEO Log File Analyser

Was ist ein Logfile?

Das Web-Logfile (Logdatei) ist eine Ereignisprotokolldatei, das alle Aktionen und Prozesse auf einem Webserver automatisch erfasst und protokolliert. Durch Verbindung mit dem Webserver, zum Beispiel via SFTP, kann man die Logfiles abrufen. Diese Dateien können mit einem Texteditor geöffnet werden, wirken jedoch für den Laien kryptisch. Werden viele Bot-Zugriffe protokolliert, kann eine Logfile-Datei groß und unübersichtlich werden, so dass selbst erfahrene SEO’s diese Daten mühsam aufbereiten müssen, um sinnvolle Bewertungen durchführen zu können. Der SEO Log File Analyser vereinfacht die Analysen und Bewertungen enorm.

Access-Logfile-Betrachtung mit einem Texteditor - ziemlich unübersichtlich
Access-Logfile-Betrachtung mit einem Texteditor – ziemlich unübersichtlich

Welche Informationen liefert eine Logfile-Analyse?

Suchmaschinenoptimierer analysieren Webserver-Logfiles, um das Crawlingverhalten von Suchmaschinen zu ermitteln und daraus geeignete SEO-Maßnahmen abzuleiten. Unabhängig vom Webserver besitzen Logfiles i .d. R. die selben Informationen, die in ihrer Abfolge variieren können.

Logfile-EintragBemerkung
IP-AdresseNormierte Ziffernfolge, über die jeder Zugriff eindeutig identifiziert wird (z. B. 64.233.191.255).
Abfrage-DatumZu welchem Zeitpunkt der Zugriff erfolgte.
MethodDie Methode der Anfrage, zum Beispiel: Get-Method.
URL-RequestDie URL, welche angefragt wurde.
Response-CodeDer Response-Code, den der Webserver für den URL-Request geliefert hat, zum Beispiel „200“ oder „404“.
Response-SizeDie Response-Größe in Bytes.
Previous-URLDie URL, auf die der vorherige Zugriff erfolgte.
User AgentDer Name, mit dem sich das Client-Programm oder der User identifiziert.

Warum ist eine Logfile-Analyse aus SEO-Sicht wichtig?

Durch eine Logfile-Analyse erfährt man, wie Suchmaschinen eine Website verarbeiten. So lässt sich zum Beispiel herausfinden, welche User Agents eine Website verarbeitet haben und noch detaillierter: Welche URLs etwa der GoogleBot Smartphone verarbeitet hat und welche Response-Codes vom Webserver geliefert wurden. Daraus können zielgerichtete Optimierungen für eine bessere Website-Architektur, Performance und Nutzerführung abgeleitet werden. Ungewünschte Weiterleitungen und nicht verfügbare URLs können so behoben werden, um eine bessere Crawlability zu ermöglichen, uvm.

Selbst John Mueller von Google hat sich bereits zu Logfiles geäußert und bemängelt, dass sie unterschätzt werden, obwohl sie wichtige Informationen liefern:

Screaming Frog SEO Log File Analyser

Der Screaming Frog SEO Log File Analyser bietet Möglichkeiten, Logfiles zu importieren und stellt die Logfile-Daten übersichtlich in Tabellen und Diagrammen dar. Im Vergleich zu einem herkömmlichen Texteditor bietet die Software enorme Vorteile.

Was kostet der SEO Log File Analyser

Die Software steht kostenlos zur Verfügung – allerdings mit ein paar Einschränkungen: Log Event Limit: 1.000 Zeilen, Projekt Limit: 1 Projekt, technischer Support: nein. Die uneingeschränkte Lizenz bekommt man bereits für faire £ 99.00 pro Jahr (≈ 126,00 €).

Was kann der SEO Log File Analyser?

  • Identifizierte gecrawlte URLs
    Sehe und analysiere genau, welche URLs Googlebot und andere Such-Bots wann und wie oft verarbeitet haben.
  • Finde defekte Links und Fehler
    Entdecke alle Antwortcodes, fehlerhafte Links und Fehler, auf die Suchmaschinen-Bots beim Crawlen gestoßen sind.
  • Crawlability verbessern
    Analysiere die am wenigsten verarbeiteten URLs und Verzeichnisse, um Verschwendung zu erkennen und die Crawlability zu verbessern.
  • Nicht-gecrawlte & verwaiste URLs (Orphan Pages) suchen
    Importiere eine Liste von URLs und vergleiche sie mit Logfiles, um verwaiste oder unbekannte URLs zu identifizieren, die der Googlebot nicht durchsucht hat.
  • Analysiere das Crawlverhalten von Bots
    Erhalte einen Einblick, welche Such-Bots am häufigsten auf die Website zugreifen, wie viele URLs täglich durchsucht werden und wie viele Bot-Ereignisse es gibt.
  • Audit-Weiterleitungen
    Suche nach temporären und permanenten Weiterleitungen von Such-Bots, die sich von denen in einem Browser oder simulierten Crawl unterscheiden können.
  • Große und langsame Seiten erkennen
    Überprüfe, wie viele Bytes durchschnittlich heruntergeladen wurden und wie viel Zeit benötigt wird, um große Seiten/Dateien zu verarbeiten.

5 Schritte einer Logfile-Analyse

  1. Zunächst installiert man den SEO Log File Analyser auf seinem System (PC/Mac). (Download now!)
  2. Im nächsten Schritt müssen die Logfiles organisiert werden. Ich lade sie via SFTP von meinem Webserver. Sie sind im Verzeichnis „logs“ gespeichert – im Root-Verzeichnis. Die Dateien sehen so aus: „access_log_2019-03-28.gz“ Für jeden Tag liegt eine .gz-Datei vor. Ich muss also viele Dateien downloaden, um einen größeren Zeitraum analysieren zu können.
  3. Nun legt man im SEO Log File Analyser ein neues Projekt an. Dadurch klickt man im Menü auf den „+ New“-Button. Im Popup bestimmt man einen Projekt-Namen und wählt die Timezone aus. (Dtl: „UTC+02:00“)
  4. Durch Klicken auf den Button „Import“ > „Log File“ wählt man die gewünschten Logfiles aus, die vom Webserver heruntergeladen wurden. Es erscheint wieder ein Popup in dem man die Domain angibt („http://www.meine-website.de“). Die Daten werden nun importiert.
  5. Oben rechts sollte man nun einen geeigneten Zeitraum wählen, zum Beispiel den letzten Monat.

SEO Log File Analyser-Berichte

Overview

Der Reiter „Overview“ liefert verschiedene Informationen zu den ermittelten URLs, Response Codes, Events – sowie eine tabellarische Übersicht mit den wichtigsten Kennzahlen der Logfile-Daten.

Overview // Screaming Frog SEO Log File Analyser
Overview // Screaming Frog SEO Log File Analyser

URLs

Der Reiter „URLs“ listet alle gecrawlten URLs (Seiten, Bilder, etc.) auf. Für jede URL wird der zuletzt ermittelte Response-Code, der Zeitpunkt der Verarbeitung, der Content Type, die Dateigröße, uvw. dokumentiert. Wie in allen Berichten können diese Daten für „Alle Bots“ oder einem ausgewählten Bot gefiltert werden.

URLs // Screaming Frog SEO Log File Analyser
URLs // Screaming Frog SEO Log File Analyser

Response Codes

Der Reiter „Response Codes“ bietet eine ähnliche Übersicht wie der Bericht „URLs“, jedoch mit Fokus auf die Response Codes der verarbeiteten URLs. Für jede URL wird ersichtlich, welche Response Codes sie geliefert haben – also nicht nur der zuletzt ermittelte Response Code, sondern eine Auflistung aller Response Codes.

Response Codes // Screaming Frog SEO Log File Analyser
Response Codes // Screaming Frog SEO Log File Analyser

User Agents

Den Bericht „User Agents“ finde ich sehr aufschlussreich, weil er eine Auflistung aller identifizierten Bots liefert, inklusive Angaben zu den verarbeiten URLs (Wie aktiv war der Bot?), der Events, verarbeiteten Bytes, Fehler, Response Times in ms, etc.

User Agents // Screaming Frog SEO Log File Analyser
User Agents // Screaming Frog SEO Log File Analyser

Weitere Berichte

Ergänzend zu diesen Berichten, bietet der SEO Log File Analyser folgende Berichte für weiterführende Bewertungen:

BerichtBemerkung
ReferersZeigt die Anzahl der Verweis-Ereignisse für jede erkannte URL.
DirectoriesHier können die am häufigsten und am wenigsten verarbeiteten Verzeichnisse und Abschnitte der Website analysiert werden.
IPsAuflistung verschiedener Crawl-Daten nach IP-Adresse sortiert.
EventsAuflistung verschiedener Events nach URLs sortiert.

Schlussbemerkungen

Eine Analyse der Webserver-Logfiles (access logs) bietet sich mit SEO Log File Analyse von Screaming Frog an, weil diese Daten bequemer, als mit einem Texteditor, analysiert werden können. Das Crawlverhalten von Google und anderen Such-Bots zu bewerten, wird dadurch kinderleicht und ist spürbar schneller abgeschlossen. Ich kenne keine Software, die eine professionelle Logfile-Analyse einfacher gestaltet.

Log-Daten können weder mit Google Analytics noch einer anderen Tracking-Software ermittelt werden – Google Analytics ermittelt das Verhalten der Nutzer einer Website. Auch in der Google Search Console sind diese Daten nicht verfügbar.

  11. April 2019   Jens Fröhlich   Gepostet in: Tools   Schlagwörter:  

Kommentare(0)

    Komentar verfassen