Robots.txt
Definition:
Robots.txt ist eine Textdatei im Root-Verzeichnis einer Webseite, die Suchmaschinenanweisungen gibt, welche Seiten oder Bereiche sie crawlen dürfen und welche nicht.
Erläuterung:
Mit der Robots.txt-Datei können Webseitenbetreiber Suchmaschinen daran hindern, bestimmte Inhalte zu indexieren, z. B. private oder irrelevante Seiten. Die Datei wird von Suchmaschinenbots (Crawlers) gelesen, bevor sie mit dem Crawling beginnen. Ein Beispiel für einen Eintrag:
User-agent: *
Disallow: /private/