29. Crawling Fehler

Fehler beim Crawling entstehen, wenn einzelne Inhalte der Webseite nicht erreichbar sind, bzw. wenn URLs ins Leere laufen und somit nicht, bzw. nicht mehr, zu einem Ziel führen. Dabei sind folgende Fehler-Codes beim Crawling zu unterscheiden:
500-Fehler: Serverfehler, bzw. die Funktionalität des Servers scheint beeinträchtigt zu sein.
 
404-Fehler: Die Seite ist nicht erreichbar.
 
410-Fehler: Die Seite wurde entfernt
 
403-Fehler: Keine Berechtigung zum Aufruf der URL
Crawling Fehler sollten regelmäßig kontrolliert werden um festzustellen, ob alle Seiten korrekt verlinkt sind. Sollten Crawling Fehler auftreten, dann sollten diese so schnell wie möglich beseitigt werden, denn eine fehlerfreie Seite genießt ein höheres Vertrauen und ein auch einen positiven Einfluss auf die Nutzerfreundlichkeit.
Auch Links auf externe Seiten und Backlinks sollten regelmäßig kontrolliert werden. Sollte eine URL nicht mehr erreichbar sein, dann sollte hier eine 301-Weiterleitung so eingerichtet werden, dass der Benutzer auf einen passenden und relevanten Inhalt weitergeleitet wird.