Datei verwalten robots.txt Standard erstellt

Dieser Leitfaden enthält Informationen über die Datei robots.txt erstellt standardmäßig für Webhosting auf denen diese Datei fehlt.

Präambel

• Die Datei robots.txt fungiert als Leitfaden für Suchmaschinen-Erkundung Roboter
• Es wird an der Wurzel einer Website platziert und enthält spezifische Anweisungen für diese Roboter, die zeigen, welche Verzeichnisse oder Seiten sie erkunden dürfen und welche sie ignorieren müssen
• Allerdings können Roboter diese Richtlinien ignorieren, indem sie robots.txt ein Freiwilliger Leitfaden anstatt eine strenge Regel

Dateiinhalt

Wenn die Datei robots.txt Es fehlt an einer Infomaniak-Website, eine Datei mit dem gleichen Namen wird automatisch mit den folgenden Richtlinien erzeugt:

User-agent: *
Crawl-delay: 10

In diesen Richtlinien werden Roboter aufgefordert, ihre Anfragen um 10 Sekunden zu sperren, wodurch eine unnötige Überlastung der Server vermieden wird.

Umdrehen robots.txt Standard erstellt

Es ist möglich, die robots.txt die folgenden Schritte folgen:

1. Eine leere Datei erstellen robots.txt (es wird nur als Ort dienen, damit die Regeln nicht gelten).
2. Verwalten Sie die Umleitung des URI (Uniform Resource Identifier) robots.txt zur Datei Ihrer Wahl mit einer Datei .htaccess.

Beispiel

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} /robots.txt$
RewriteRule ^robots\.txt$ index.php [QSA,L]
</IfModule>

Erläuterung

• Das Modul mod_rewrite Apache wird aktiviert, um Umleitungen zu ermöglichen.
• Die Bedingung RewriteCond %{REQUEST_URI} /robots.txt$ prüft, ob die Abfrage die Datei betrifft robots.txt.
• Die Regel RewriteRule ^robots\.txt$ index.php [QSA,L] lenkt alle Anfragen auf robots.txt Vers index.php, mit der Option [QSA] die die Abfrageeinstellungen behält.

Es wird empfohlen, diese Anweisungen am Anfang der Datei zu platzieren. .htaccess.