Michael Kienzler ist Partner und Gründer von OLDSCHOOLSEO. Seine Arbeit beginnt bei der Analyse der technischen Architektur und der Daten, um daraus die Potenziale für die redaktionelle und strategische Weiterentwicklung abzuleiten.
Logfile-Analyse: Das Crawl-Verhalten von Suchmaschinen verstehen
Was ist eine Logfile-Analyse im SEO-Kontext?
Antwort: Eine Logfile-Analyse ist die Auswertung der Server-Logdateien einer Website. Diese Dateien protokollieren jede Anfrage an den Server, einschließlich der Zugriffe von Suchmaschinen-Bots. Im SEO-Kontext analysiert man diese Daten, um das Crawl-Verhalten von Google zu verstehen – welche URLs wie oft besucht werden, welche Fehler auftreten und wie das Crawl-Budget genutzt wird.
Wie erhält man Zugriff auf die Server-Logdateien?
Antwort: Der Zugriff auf Logdateien hängt vom Hosting-Setup ab:
- →Shared Hosting: Der Zugriff ist oft eingeschränkt und erfolgt über das Admin-Panel (z.B. cPanel), wo die Logs heruntergeladen werden können.
- →Managed Server / vServer: Hier besteht in der Regel voller Zugriff auf den Server via SSH, um die Logdateien direkt im Dateisystem auszulesen (z.B. unter
/var/log/apache2/). - →Cloud-Plattformen / CDNs: Anbieter wie Cloudflare oder AWS bieten eigene Mechanismen zum Export oder zur Analyse von Zugriffslogs. Die Verfügbarkeit der Logfiles ist die Grundvoraussetzung für die Analyse.
Welche Daten sind für eine SEO-Logfile-Analyse relevant?
Antwort: Für die SEO-Analyse sind primär folgende Daten einer Logdatei-Zeile relevant:
- →IP-Adresse des Clients: Dient zur Identifizierung des zugreifenden Bots.
- →Zeitstempel der Anfrage: Zeigt, wann der Zugriff erfolgte.
- →Angeforderte URL: Die Ressource, die der Bot angefordert hat.
- →HTTP-Statuscode: Der vom Server zurückgegebene Code (z.B. 200, 301, 404).
- →User-Agent-String: Identifiziert den Typ des Bots (z.B. Googlebot Smartphone).
Wie wird die Echtheit von Suchmaschinen-Bots verifiziert?
Antwort: Die Echtheit muss durch einen reversen DNS-Lookup verifiziert werden:
- →Ein reverser DNS-Lookup auf die IP-Adresse wird durchgeführt. Der Hostname sollte auf eine
.googlebot.com- oder.google.com-Domain enden. - →Ein vorwärtsgerichteter DNS-Lookup auf den erhaltenen Hostnamen wird durchgeführt. Das Ergebnis muss mit der ursprünglichen IP-Adresse übereinstimmen. Dieser Prozess trennt die Daten von echten Google-Aktivitäten von denen anderer Bots.
Welche Erkenntnisse liefert eine Logfile-Analyse?
Antwort: Die Analyse der verifizierten Bot-Zugriffe liefert konkrete Erkenntnisse:
- →Crawl-Frequenz: Wie oft wird die Website oder werden bestimmte Bereiche gecrawlt?
- →Crawl-Budget-Nutzung: Werden wichtige Seiten häufig und unwichtige Seiten selten gecrawlt?
- →Entdeckung neuer Inhalte: Wie schnell nach der Veröffentlichung wird eine neue Seite vom Googlebot entdeckt?
- →Crawling von Fehlerseiten: Wie oft stößt der Googlebot auf 404-Fehler oder Server-Fehler (5xx)?
Wie werden Logfile-Daten mit anderen Datenquellen kombiniert?
Antwort: Der Mehrwert entsteht durch die Kombination von Logfile-Daten mit anderen Daten:
- →Logfiles + Crawl-Daten: Der Abgleich mit Daten eines SEO-Crawlers (z.B. Screaming Frog) identifiziert Seiten, die intern nicht verlinkt sind, aber gecrawlt werden ("Orphan Pages"), oder wichtige Seiten, die nicht gecrawlt werden.
- →Logfiles + Google Search Console Daten: Der Vergleich der Crawl-Häufigkeit mit den Impressionen und Klicks aus der GSC zeigt, ob häufig gecrawlte Seiten auch eine gute Performance in der Suche haben.
- →Logfiles + Website-Daten: Die Anreicherung mit Informationen aus dem CMS (z.B. Wortanzahl) kann Muster aufdecken (z.B. ob Google Seiten mit mehr Inhalt häufiger crawlt).
Welche Tools werden für die Logfile-Analyse verwendet?
Antwort: Die Analyse großer Logdateien erfordert Software:
- →SEO-Logfile-Analyzer: Tools wie Screaming Frog SEO Log File Analyser oder Semrush Log File Analyzer sind für die SEO-Analyse konzipiert.
- →Kommandozeilen-Tools: Werkzeuge wie
grepundawkkönnen für Analysen auf Linux-Systemen verwendet werden. - →Datenanalyse-Plattformen: Lösungen wie das ELK-Stack oder Splunk ermöglichen die Analyse großer Datenmengen.
Was ist die Schlussfolgerung für eine technische SEO-Strategie?
Antwort: Die Logfile-Analyse ist eine Methode, um ungefilterte Daten über das Verhalten von Suchmaschinen-Bots zu erhalten. Sie geht über die Berichte der Google Search Console hinaus und ermöglicht die Identifikation von Problemen bei der Crawl-Effizienz. Die Erkenntnisse dienen als Grundlage für die Optimierung des Crawl-Budgets und die Behebung technischer Fehler.
Integration in die technische SEO-Strategie
Logfile-Analyse ist die Validierung der Crawl-Strategie mit echten Daten.
- →Crawling und Indexierung - Die Logfile-Analyse zeigt, ob die definierten Anweisungen vom Googlebot wie beabsichtigt umgesetzt werden.
- →XML-Sitemaps – Durch die Analyse lässt sich überprüfen, wie schnell und vollständig die in der Sitemap gelisteten URLs gecrawlt werden.
- →Website-Geschwindigkeit optimieren - Eine hohe Anzahl von 5xx-Server-Fehlern in den Logfiles kann auf Performance-Probleme hindeuten.
Weiterführende Artikel
Aus demselben Cluster
- →Anwendungsfälle und Grenzen
- →Core Web Vitals: Ladezeit und Nutzererfahrung als Rankingfaktor
- →Crawling-Optimierung für große Websites
Mit Thematischem Bezug
- →Analyse des eigenen Backlink-Profils: Tools und Metriken
- →Analyse von Konkurrenz-Backlinks zur Aufdeckung neuer Link-Quellen