Crawler

Ein Crawler (Suchmaschinen-Roboter) ist ein automatisiertes Programm von Suchmaschinen, das Webseiten durchsucht, Inhalte analysiert und sie für die Indexierung vorbereitet.