User-agent: * # alle robotter erlaubt
Disallow: /cgi-bin/ # dieses verzeichniss nicht durchsuchen