# robots.txt 
# Zugriff auf alle Dateien erlauben
User-agent: *
# Sperren von Verzeichnissen
Disallow: /cgi-bin
Disallow: /data
Disallow: /logs
Disallow: /usage