Logfile-Analyse für SEO

Gruppieren Sie Crawl-Requests nach Verzeichnissen: Wie viel Budget geht in /blog/, wie viel in /produkte/, wie viel in /suche/ oder /temp/? Oft entdecken Sie, dass 30–60 % des Budgets für irrelevante Bereiche verschwendet wird.

Strategische Seiten (Pillar Pages, Produkte, Cases) sollten mindestens alle 2–7 Tage gecrawlt werden. Seiten, die nur einmal pro Monat oder seltener gecrawlt werden, verlieren an Aktualität im Index. Logfiles zeigen die tatsächliche Frequenz.

Interne Suchergebnisse, Filter-Kombinationen, Session-URLs, Kalender-Seiten und Druckansichten fressen Budget. Suchen Sie im Logfile nach URLs mit hoher Crawl-Häufigkeit, aber niedrigem SEO-Wert. Diese sind die ersten Kandidaten für robots.txt-Disallow oder noindex.

Analysieren Sie, wann Googlebot crawlt und wie die Server-Response-Zeiten zu diesen Zeiten aussehen. Langsame Response-Zeiten während Crawl-Peaks signalisieren, dass das Budget künstlich begrenzt wird – nicht durch Google, sondern durch Ihren Server.

200-Statuscodes sind gut – aber nicht alle 200er sind gleich. Prüfen Sie, ob 200-Responses tatsächlich den erwarteten Content liefern oder möglicherweise Soft-404s sind (Seiten mit „Nicht gefunden"-Text, aber 200-Status). Soft-404s sind schwerer zu erkennen als echte 404er.

301 (Permanent Redirect) ist der Standard für umgezogene Seiten; 302 (Temporary Redirect) sollte nur für temporäre Umleitungen verwendet werden. Logfiles zeigen Redirect-Ketten (A→B→C→D), die Crawl Budget verschwenden und Nutzer verlangsamen.

404 (Not Found) und 410 (Gone) signalisieren nicht erreichbare Seiten. 404er, die häufig gecrawlt werden, deuten auf interne oder externe Links zu nicht existierenden Seiten hin. 410 ist stärker als 404 und sagt Google explizit, dass die Seite dauerhaft entfernt wurde.

500 (Internal Server Error), 502 (Bad Gateway), 503 (Service Unavailable) und 504 (Gateway Timeout) signalisieren Server-Probleme. Häufige 5xx-Fehler führen zu reduziertem Crawl Budget und potenziellen Ranking-Einbußen. Ein 503 mit Retry-After-Header ist akzeptabel für geplante Wartung.

Gruppieren Sie Logfile-Einträge nach User-Agent. Googlebot sollte den Großteil des Crawl Budgets erhalten. Wenn andere Bots (z. B. AI-Scraper, SEO-Tools, Aggregatoren) einen signifikanten Anteil haben, prüfen Sie deren Notwendigkeit und blockieren Sie gegebenenfalls.

Logische Crawl-Muster zeigen, wie Bots Ihre Website erkunden. Ein gut strukturiertes Crawl-Muster folgt der internen Verlinkung: Startseite → Kategorien → Produkte. Chaotische Muster (Sprünge zwischen unzusammenhängenden Bereichen) deuten auf schwache interne Verlinkung oder Orphan Pages hin.

Mit dem Aufkommen von KI-Modellen nehmen Scraping-Bots zu, die Inhalte für Trainingsdatensätze sammeln. Logfiles zeigen ungewöhnliche Crawl-Muster: Sehr schnelle Requests, Fokus auf Text-Content, unbekannte User-Agents. Blockieren Sie unerwünschte Bots über robots.txt oder IP-Blocking.

Die Crawl-Rate kann in der Google Search Console angepasst werden (wohlwollendes Crawling). Wenn Ihr Server unter der Crawl-Last leidet, können Sie die Rate temporär reduzieren. Umgekehrt können Sie bei unterforderten Servern die Rate erhöhen, um schnellere Indexierung zu erreichen.

Vergleichen Sie die URLs aus Ihrem Logfile (was Google tatsächlich crawlt) mit den URLs aus einem internen Crawl (was über Links erreichbar ist). URLs, die im Logfile vorkommen, aber nicht im internen Crawl, sind Kandidaten für Orphan Pages – oder extern verlinkte Seiten.

Vergleichen Sie URLs in der XML-Sitemap mit URLs im Logfile. Seiten, die in der Sitemap stehen, aber nie oder extrem selten gecrawlt werden, haben wahrscheinlich keine interne Verlinkung und geringe strategische Bedeutung.

Website-Relaunches und URL-Änderungen erzeugen häufig Orphan Pages: Alte URLs, die noch in der Sitemap stehen, interne Links, die nicht aktualisiert wurden, oder vergessene Weiterleitungen. Logfiles zeigen, ob Google diese „Geister-URLs" trotzdem findet und crawlt.

URLs mit Parametern, die nur über externe Links oder veraltete Bookmarks erreicht werden, sind eine versteckte Orphan-Kategorie. Sie erscheinen im Logfile, haben aber keine interne Verankerung. Meistens sind sie irrelevant und sollten canonicalisiert oder gesperrt werden.