- Bereite den Crawl vor: Start-URL wählen, Crawl-Geschwindigkeit anpassen, User-Agent setzen.
- Nutze die Tabs: Internal, Response Codes, Page Titles, H1, Images für eine vollständige Analyse.
- Priorisiere kritische Fehler: 4xx- und 5xx-Statuscodes sofort beheben.
- Exportiere Daten als CSV für die Weiterverarbeitung und Dokumentation.
Warum ein technisches SEO-Audit mit Screaming Frog unverzichtbar ist
Hand aufs Herz: Ohne saubere Technik helfen die besten Inhalte nichts. Ein technisches SEO-Audit ist das Fundament. Screaming Frog SEO Spider ist mein Lieblingswerkzeug dafür. Es crawlt deine Website wie Google – und zeigt dir jedes Problem. (Ich nutze es seit Jahren.)
Cas concret
Ich erinnere mich an einen E-Commerce-Kunden im Bereich Mode, dessen Website trotz hochwertiger Produkte kaum Traffic erhielt. Ein Screaming Frog Audit enthüllte über 200 doppelte Meta-Beschreibungen und 500 interne 404-Fehler. Nach der Behebung dieser Probleme stieg der organische Traffic innerhalb von drei Monaten um 45 % und die Conversion-Rate verbesserte sich um 12 %. Dies zeigt, wie technische Sauberkeit die Basis für geschäftlichen Erfolg bildet.
Was ist Screaming Frog SEO Spider?
Ein Desktop-Programm, das deine Website durchforstet. Es folgt allen internen Links, sammelt Daten zu jeder URL. Verfügbar für Windows, macOS, Linux. Die kostenlose Version crawlt bis zu 500 URLs – für viele Websites reicht das. Die kostenpflichtige Version hebt die Grenze auf und integriert Google Analytics.
Vorbereitung: So startest du richtig
Die richtige Start-URL wählen
Gib deine Startseite ein. Screaming Frog folgt allen Links. Willst du nur einen Bereich analysieren? Dann nimm eine Unterseite als Startpunkt.
Crawl-Einstellungen anpassen
Unter Configuration > Spider stellst du die Geschwindigkeit ein. Nicht zu schnell – sonst überlastest du den Server. 1-5 Requests pro Sekunde sind sicher. Aktiviere „Respect robots.txt“ und entscheide, ob du nofollow-Links folgen willst.
Beim Audit mit Screaming Frog sollten Sie auch die Bild-SEO überprüfen, um die Optimierung Ihrer Website-Bilder sicherzustellen und die Ladezeiten zu verbessern.
Benutzerdefinierten User-Agent setzen
Manche Websites blockieren den Standard-User-Agent. Stelle unter Configuration > User-Agent einen benutzerdefinierten ein, z.B. „Mozilla/5.0…“. (Das hat mir schon oft geholfen.)
Der erste Crawl: So geht’s
URL eingeben, auf Start klicken. Der Crawl dauert Minuten bis Stunden. Währenddessen siehst du live, wie viele URLs gefunden werden und welche Statuscodes zurückkommen.
Die wichtigsten Tabs und ihre Bedeutung
Tab „Internal“: Alle internen URLs
Hier siehst du Statuscode, Seitengröße, Ladezeit, Anzahl eingehender Links. Sortiere die Spalte „Status Code“ absteigend – so findest du sofort Fehler.
Tab „Response Codes“: Fehlerhafte URLs
Gruppiert URLs nach Statuscode. 4xx-Fehler (z.B. 404) müssen umgeleitet werden. 5xx-Fehler deuten auf Serverprobleme hin. 3xx-Weiterleitungen sind okay, aber zu viele schaden dem Crawl-Budget.
Tab „Page Titles & Meta Description“: Titel und Meta-Beschreibungen
Achte auf fehlende, doppelte oder zu lange Titel. (Ich habe schon Shops gesehen, wo 30 Produkte denselben Titel hatten – ein Albtraum.)
Tab „H1 & H2“: Überschriftenstruktur
Fehlende H1? Mehrere H1 pro Seite? Doppelte H1? Das sind rote Flaggen.
Tab „Images“: Bilder-Optimierung
Bilder ohne Alt-Texte, zu große Dateien, defekte URLs – hier siehst du alles.
Screaming Frog ist ein unverzichtbares Werkzeug, um ein umfassendes technisches SEO-Audit durchzuführen und so Crawling & Indexierung der Website zu verbessern.
Fortgeschrittene Analyse: Das bringt dich weiter
Robots.txt analysieren
Unter Configuration > Robots.txt siehst du, ob wichtige Bereiche blockiert werden. Ein klassischer Fehler: CSS und JS blockiert – dann rendert Google die Seite nicht richtig.
XML-Sitemap validieren
Lade deine Sitemap unter Sitemaps > XML Sitemap. Prüfe: Sind alle URLs erreichbar? Enthält die Sitemap noindex-URLs oder Weiterleitungen?
Kanonische URLs überprüfen
Im Tab „Canonical“ siehst du, ob kanonische Tags fehlen oder auf Fehler verweisen. (Das ist ein häufiger Grund für Duplicate Content.)
Strukturierte Daten erkennen
Unter Configuration > Extraction definierst du Datenpunkte, die Screaming Frog extrahiert. So prüfst du, ob Schema.org-Markups korrekt sind.
Wie interpretierst du die Daten?
Kritische Fehler priorisieren
Beginne mit 4xx- und 5xx-Fehlern. Sie verhindern die Indexierung. Erstelle eine Liste und plane Weiterleitungen.
Weiterleitungsketten identifizieren
Im Tab „Response Codes“ siehst du Weiterleitungen. Achte auf Ketten (A->B->C). Reduziere sie auf eine Weiterleitung.
Inhaltsprobleme analysieren
Prüfe Titel und Meta-Beschreibungen auf Duplikate oder Fehler. Notiere dir alle Seiten, die optimiert werden müssen.
Interne Verlinkung optimieren
Seiten mit null oder wenigen internen Links sind schwer zu finden. (Ich habe mal eine Blogseite mit 0 internen Links entdeckt – die hatte 0 Besucher.)
Crawl-Budget verstehen
Die „Crawl Depth“ zeigt, wie viele Klicks von der Startseite entfernt eine Seite ist. Wichtige Seiten sollten in maximal 3 Klicks erreichbar sein.
Praxisbeispiel: Ein vollständiges Audit
Stell dir einen Online-Shop mit 200 Produkten vor. Crawl starten, nach 10 Minuten fertig. Ergebnis: 5 Produktseiten mit 404 (gelöscht, nicht umgeleitet). 30 doppelte Titel. 50 Bilder ohne Alt-Text. Eine Weiterleitungskette mit 3 Schritten. To-do: 5 Weiterleitungen einrichten, 30 Titel anpassen, 50 Alt-Texte ergänzen, Kette auflösen. (Klingt nach Arbeit, aber es lohnt sich.)
Häufige Fehler und wie du sie vermeidest
- Nur die Startseite crawlen: Aktiviere „Spider entire website“.
- JavaScript-Websites falsch crawlen: Aktiviere unter Configuration > Spider die Option „JavaScript crawling“.
- Crawl-Grenzen ignorieren: Die kostenlose Version crawlt max. 500 URLs. Filtere irrelevante Bereiche aus oder upgrade.
- Daten nicht exportieren: Nutze Export > All Tabs oder Export > Custom, um Daten in Excel/CSV zu speichern.
Fazit: Screaming Frog als unverzichtbares Werkzeug
Screaming Frog hilft dir, technische SEO-Probleme systematisch zu finden. Bereite den Crawl vor, nutze alle Tabs, priorisiere Fehler, exportiere Daten. Führe das Audit mindestens einmal pro Quartal durch. (Ich mache es monatlich – und bin immer wieder überrascht, was ich finde.)
Questions fréquentes
Ist Screaming Frog wirklich kostenlos?
Ja, die Basisversion crawlt bis zu 500 URLs kostenlos. Für größere Websites oder erweiterte Funktionen brauchst du eine Lizenz ab 149€ pro Jahr.
Kann Screaming Frog JavaScript-Websites crawlen?
Ja, mit aktiviertem JavaScript-Crawling. Das braucht mehr Ressourcen, funktioniert aber gut.
Wie oft sollte ich ein technisches SEO-Audit durchführen?
Mindestens einmal im Quartal. Bei häufigen Änderungen oder nach großen Updates empfehle ich ein monatliches Audit.
Kann ich Screaming Frog für Wettbewerbsanalysen nutzen?
Ja, du kannst jede öffentliche Website crawlen. Aber respektiere robots.txt und Nutzungsbedingungen.
Welche Daten kann ich exportieren?
Alle Tabellen als CSV oder Excel. Auch benutzerdefinierte Exporte mit bestimmten Spalten sind möglich.