Bei Google gefunden werden / Begriff
robots.txt
Auch gebräuchlich: Robots-Datei
Was regelt die robots.txt?
Die robots.txt teilt kooperierenden Crawlern mit, welche Bereiche einer Website sie abrufen dürfen oder nicht abrufen sollen.
Ein klarer Weg durch diese Aufgabe
- robots.txt einordnen
- Grenzen und Verwechslungen prüfen
- Passende nächste Arbeit bestimmen
Relevanz
Warum ist robots.txt wichtig?
Crawlersteuerung kann unnötige Abrufe begrenzen und unterschiedliche Bots getrennt behandeln. Sie ist jedoch kein Schutz für vertrauliche Inhalte.
Konkretes Beispiel
So zeigt sich der Begriff in der Praxis.
Ein öffentlicher Release kann OAI-SearchBot für ChatGPT-Suche erlauben und GPTBot für mögliches Modelltraining sperren. Diese Entscheidungen sind unabhängig.
Abgrenzung
Was damit nicht gemeint ist.
robots.txt steuert Crawling; noindex steuert bei unterstützenden Suchmaschinen die Aufnahme in Suchergebnisse. Zugriffsschutz braucht Authentifizierung oder andere Sicherheitsmaßnahmen.
Häufiges Missverständnis
Falsch wäre: Eine per robots.txt gesperrte URL ist automatisch geheim oder garantiert aus allen Suchergebnissen entfernt.
Einordnung: robots.txt steuert Crawling; noindex steuert bei unterstützenden Suchmaschinen die Aufnahme in Suchergebnisse. Zugriffsschutz braucht Authentifizierung oder andere Sicherheitsmaßnahmen.
Handlung
Was Sie als Nächstes prüfen können.
Definieren Sie den Zweck je Bot, prüfen Sie Syntax und veröffentlichte IP-Informationen und behandeln Sie User-Agent-Namen nie als Authentifizierung.
Quellenstand