robots.txt erklärt

Die robots.txt ist eine Datei, die im Stammverzeichnis einer Domain abgelegt sein sollte. Diese Datei wird von einem Webcrawler als erstes angesteuert um sie auszulesen. In ihr befinden sich Angaben, welche Inhalte der Internetpräsenz durch den Webcrawler indiziert werden dürfen und welche nicht.

So ist es möglich gewisse Bereiche eines Internetauftritts durch die robots.txt für bestimmte Suchmaschinen zu sperren. Das garantiert jedoch keine Geheimhaltung, da manche Suchmaschinen die von den Webcrawlern gefundenen URLs trotzdem in den SERPs anzeigen. Zwar ohne Beschreibung der Seite aber dafür die HTTP-Adresse.