Bei Google gefunden werden / Begriff
Crawling
Auch gebräuchlich: Crawlen, Web-Crawling
Was ist Crawling?
Crawling ist das automatisierte Abrufen von URLs und Ressourcen durch Such- oder andere Webcrawler.
Ein klarer Weg durch diese Aufgabe
- Crawling einordnen
- Grenzen und Verwechslungen prüfen
- Passende nächste Arbeit bestimmen
Relevanz
Warum ist Crawling wichtig?
Nur erreichbare Inhalte können verarbeitet werden. Statuscodes, crawlbare Links, robots-Regeln, Serverantworten und Ressourcen bestimmen, ob ein Crawler eine Seite sinnvoll abrufen kann.
Konkretes Beispiel
So zeigt sich der Begriff in der Praxis.
Eine neue Glossarseite existiert zwar, wird aber weder intern verlinkt noch in einer freigegebenen Sitemap geführt. Sie ist technisch erreichbar, aber schlecht auffindbar.
Abgrenzung
Was damit nicht gemeint ist.
Crawling ist nicht Indexierung. Ein abgerufener Inhalt muss nicht in einen Suchindex aufgenommen werden.
Häufiges Missverständnis
Falsch wäre: robots.txt ist kein Zugriffsschutz und garantiert auch nicht, dass eine URL aus Suchergebnissen verschwindet.
Einordnung: Crawling ist nicht Indexierung. Ein abgerufener Inhalt muss nicht in einen Suchindex aufgenommen werden.
Handlung
Was Sie als Nächstes prüfen können.
Prüfen Sie Statuscode, interne Links, robots-Regeln, Sitemap und Serverprotokolle getrennt, bevor Sie ein Indexierungsproblem diagnostizieren.
Quellenstand