Michael Kienzler ist Partner und Gründer von OLDSCHOOLSEO. Seine Arbeit beginnt bei der Analyse der technischen Architektur und der Daten, um daraus die Potenziale für die redaktionelle und strategische Weiterentwicklung abzuleiten.
Methodik der Logfile-Analyse
Frage: Welche Einblicke liefert die Analyse von Server-Logfiles?
Antwort: Die Analyse von Server-Logfiles ist eine Methode der technischen SEO. Sie nutzt die vom Server protokollierten Zugriffsdaten von Crawlern (z.B. Googlebot) als direkte, ungefilterte Informationsquelle. Die Auswertung dieser Rohdaten ermöglicht Rückschlüsse auf die Effizienz des Crawlings und den technischen Zustand einer Domain.
1. Datenerfassung und Aufbereitung
Der Prozess beginnt mit dem Zugriff auf die Server-Logs. Diese enthalten pro Zugriff Zeilen mit Informationen wie IP-Adresse, Zeitstempel, angefragte URL und Server-Statuscode.
- →Identifikation der Crawler: Die Zugriffe werden nach dem User-Agent gefiltert, um die Anfragen von Suchmaschinen-Crawlern (z.B. Googlebot) zu isolieren.
- →Verifizierung der Bots: Eine umgekehrte DNS-Auflösung (Reverse DNS Lookup) verifiziert, dass die Anfragen von legitimen Suchmaschinen-Bots stammen.
- →Datenanreicherung: Die Log-Daten werden mit Daten aus anderen Quellen (z.B. XML-Sitemaps, Web-Crawl) zusammengeführt, um die Analyse zu ermöglichen.
2. Analysebereiche und Erkenntnisse
Die aufbereiteten Daten erlauben die Untersuchung des Crawl-Verhaltens.
- →Crawl-Budget-Analyse:
- →Crawl-Frequenz und -Volumen: Wie viele URLs werden in welchem Intervall gecrawlt? Eine hohe Anzahl von Anfragen auf nicht-relevante URLs (z.B. Parameter-URLs) deutet auf eine ineffiziente Nutzung des Crawl-Budgets hin.
- →Identifikation von Crawl-Fehlern: Die Analyse der Server-Statuscodes (z.B. 404, 5xx) aus Sicht des Googlebots deckt technische Probleme auf.
- →Entdeckung verwaister Seiten (Orphan Pages): Der Abgleich der gecrawlten URLs mit den URLs aus der internen Verlinkung kann Seiten identifizieren, die keine internen Links erhalten.
- →Priorisierung des Crawlings: Die Analyse zeigt, welche Seiten oder Verzeichnisse von Google häufiger gecrawlt werden.
Fazit
Die Logfile-Analyse liefert eine datenbasierte Grundlage für die technische SEO. Sie gibt Einblick in die Interaktion zwischen einer Webseite und Suchmaschinen-Crawlern. Die gewonnenen Erkenntnisse ermöglichen die Optimierung der Crawl-Effizienz und die Behebung technischer Fehler.
Weiterführende Artikel
Aus demselben Cluster
- →Anwendungsfälle und Grenzen
- →Core Web Vitals: Ladezeit und Nutzererfahrung als Rankingfaktor
- →Crawling-Optimierung für große Websites
Mit Thematischem Bezug
- →Analyse des eigenen Backlink-Profils: Tools und Metriken
- →Analyse von Konkurrenz-Backlinks zur Aufdeckung neuer Link-Quellen