Screaming Frog SEO Spider

Screaming Frog SEO Spider ist ein sogenannter Website Crawler. Das bedeutet, dass das Tool - ähnlich wie Google - Deine Seite ausliest, um technische Fehler zu finden, die Dein Ranking verschlechtern. 

Was ist Screaming Frog SEO Spider?

Ein Website Crawler "krabbelt" durch Deine Webseite, um sie auszulesen - so ähnlich wie eine Spinne. Der schreiende Frosch im Namen ist tatsächlich der Name der Firma, die das Tool entwickelt hat. Das nur so am Rande, falls Du dich gefragt hast, was zwei Tiere auf Deiner Webseite zu suchen haben.

Das Tool ist recht komplex und liest viele verschiedene Faktoren auf Deiner Webseite aus. Es identifiziert zum Beispiel Links, die nicht mehr funktionieren (Broken Links), identifiziert doppelten Content und analysiert die Meta-Beschreibungen.

Wofür brauche ich Screaming Frog SEO Spider?

Wenn Du dich mit SEO schon ein wenig auskennst und verstehst, was mit einer Sitemap, einem Audit Redirect oder robots.txt gemeint ist, liefert Dir die SEO Spider viele nützliche Daten. Diese Daten kannst Du verwenden, um Deine Webseite technisch zu optimieren. Indem das Tool beim Crawling quasi die Suchmaschine simuliert, findet es Fehler, nach denen Du sonst manuell lange suchen müsstest.

Was ist Website Crawling?

Damit Google eine Webseite finden kann, muss diese Webseite indexiert sein. Um das zu erreichen, liest die Suchmaschine regelmäßig alle im Web auffindbaren und von einem Bot erkennbaren Seiten aus. Hier wiederum gibt es viele mögliche Fehlerquellen, die ein richtiges Auslesen verhindern können.

Wie oft Deine Webseite gecrawlt wird, hängt davon ab, wie gut Dein Ranking ist. Außerdem gibt es das sogenannte Crawling-Budget. Das bedeutet, dass pro Domain bei jedem Page Crawling nur eine bestimmte Anzahl von URLs in den Index gelangen kann. Das kann besonders bei größeren Internetseiten - etwa bei Online-Shops, wo jedes Produkt eine eigene URL hat - problematisch werden. 

Warum ist das Crawling wichtig für mich?

Ganz einfach: Das Crawlen Deiner Webseite ist letztendlich nichts anderes als der Versuch der Suchmaschine, diese auszulesen und zu erfassen. Wenn das nicht gelingt oder durch technische Fehler erschwert wird, kann Deine Webseite nicht in den Suchergebnissen auftauchen. 

Das Crawling Budget

Das Crawling Budget soll verhindern, dass Webseiten Pseudo-Inhalte veröffentlichen können. Daher gibt es Beschränkungen für die Menge an URLs, die zum gleichen Zeitpunkt in den Index gelangen können.

Dieses für Dich sehr wichtige Budget kann durch technische Fehler schnell verringert werden. Wenn nämlich der Bot mit 404-Seiten oder Duplikaten beschäftigt ist, kann das dazu führen, dass es wichtige Unterseiten nicht mehr in den Index schaffen. Umso grösser und komplexer eine Webseite ist, umso wichtiger ist es also, sie technisch aktuell zu halten.

Wie kann ich Fehler beim Crawling und der Indexierung vermeiden?

Eine wirklich funktionale Webseite sollte technisch immer auf dem neuesten Stand sein und regelmäßig geupdatet werden. Dafür sind sehr viele verschiedene Parameter wichtig. Experten haben zudem die Möglichkeit, unwichtige URLS zum Beispiel aus dem Index zu entfernen, um Platz für andere Seiten zu schaffen.

Ein häufiges Problem bei Low-Budget-Webseiten ist, dass diese nach einiger Zeit nicht mehr richtig funktionieren. Wenn Du zukünftigen Ärger mit Deiner Webseite vermeiden willst, solltest Du Dir einen Anbieter suchen, der sich auch nach der Erstveröffentlichung noch darum kümmert, dass Deine Seite technisch up-to-date ist.

Wie funktioniert die Screaming Frog SEO Spider?

Die SEO Spider ist eine Software, die Du herunterladen musst, um sie zu verwenden. Wie bei vielen anderen Tools auch gibt es eine kostenlose Version und eine Premium-Variante mit erweiterten Funktionen. Der größte Unterschied besteht darin, dass Du bei der kostenlosen Version nicht mehr als 500 URLs checken kannst.

Wenn Du Deine Webseite von dem Tool crawlen lässt, analysiert die SEO Spider viele unterschiedliche Faktoren. In der kostenlosen Version sind folgende enthalten: 

• Find Broken Links, Errors & Redirects
• Analyse Page Titles & Meta Data
• Review Meta Robots & Directives
• Audit hreflang Attributes
• Discover Exact Duplicate Pages
• Generate XML Sitemaps
• Site Visualisations

Damit gewinnst Du wichtige Anhaltspunkte für die technische Optimierung Deiner Seite. 

Fragen zu dem Tool?
Schreibe uns eine Nachricht und wir finden gemeinsam eine Antwort darauf.