Robots.txt ist eine Textdatei im Root-Verzeichnis einer Webseite, die Suchmaschinen vorgibt, welche Seiten oder Bereiche sie crawlen dürfen und welche nicht.
Erläuterung:
Mit der Robots.txt-Datei können Webseitenbetreiber Suchmaschinen daran hindern, bestimmte Inhalte zu indexieren, z. B. private oder irrelevante Seiten. Die Datei wird von Suchmaschinenbots (Crawler) gelesen, bevor sie mit dem Crawling beginnen. Ein Beispiel für einen Eintrag:
User-agent: *
Disallow: /private/