robots.txt-Datei standardmäßig erstellt

Dieser Leitfaden enthält Informationen zur Datei robots.txt, die standardmäßig für Webhosting erstellt wird, wenn diese Datei fehlt.

Vorwort

Die robots.txt-Datei fungiert als Leitfaden für Crawler-Roboter von Suchmaschinen. Sie wird am Root eines Websites platziert und enthält spezifische Anweisungen für diese Roboter, welche Verzeichnisse oder Seiten sie erkunden dürfen und welche sie ignorieren sollten. Es ist jedoch zu beachten, dass Roboter wählen können, diese Anweisungen zu ignorieren, was robots.txt zu einem freiwilligen Leitfaden anstelle einer strengen Regel macht.

Dateiinhalt

Wenn die robots.txt-Datei auf einer Infomaniak-Website fehlt, wird automatisch eine robots.txt-Datei mit den folgenden Anweisungen generiert:

User-agent: *
Crawl-delay: 10

Diese Anweisungen weisen die Roboter an, ihre Anfragen um 10 Sekunden zu verzögern, um eine unnötige Überlastung des Servers zu vermeiden.

Umgehen der Standard-robots.txt

Es ist möglich, die robots.txt zu umgehen, indem Sie diese Schritte befolgen:

1. Erstellen Sie eine leere Datei namens "robots.txt" (sie dient nur als Platzhalter, damit die Regeln nicht gelten)
2. Verwalten Sie die Umleitung des Uniform Resource Identifiers (URI) "robots.txt" zur gewünschten Datei mithilfe einer .htaccess-Datei

Beispiel

Dieses Beispiel leitet den URI "robots.txt" zu "index.php" um, was der Fall wäre, wenn wir keine Standardregel hätten. Es wird empfohlen, diese Anweisungen am Anfang der .htaccess-Datei zu platzieren.