Gestire il file robots.txt creato per impostazione predefinita

Questa guida fornisce informazioni sul file robots.txt creato per impostazione predefinita per le web hosting su cui il file è assente.

Preambolo

• Il file robots.txt agisce come una guida per i robot di esplorazione dei motori di ricerca
• È posizionato alla radice di un sito Web e contiene istruzioni specifiche per questi robot, indicando quali directory o pagine sono autorizzati a esplorare e quali devono ignorare
• Attenzione però, i robot possono scegliere di ignorare queste linee guida, facendo robots.txt un Guida Volontaria piuttosto che una regola rigorosa

Contenuto del file

Se il file robots.txt è assente da un sito Infomaniak, un file con lo stesso nome viene generato automaticamente con le seguenti linee guida:

User-agent: *
Crawl-delay: 10

Queste linee guida indicano ai robot di spaziare le loro richieste di 10 secondi, evitando di sovraccaricare inutilmente i server.

Aggirare il robots.txt creato per impostazione predefinita

È possibile aggirare il robots.txt seguendo queste fasi:

1. Crea un file vuoto robots.txt (sarà utilizzato solo come luogo in modo che le regole non si applichino).
2. Gestione del reindirizzamento dell'URI (Uniform Resource Identifier) robots.txt al file di vostra scelta con l'aiuto di un file .htaccess.

Esempio

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} /robots.txt$
RewriteRule ^robots\.txt$ index.php [QSA,L]
</IfModule>

Spiegazione

• Il modulo mod_rewrite Apache è abilitato per consentire reindirizzamenti.
• La condizione RewriteCond %{REQUEST_URI} /robots.txt$ verifica se la richiesta riguarda il file robots.txt.
• La regola RewriteRule ^robots\.txt$ index.php [QSA,L] reindirizza tutte le richieste a robots.txt index.php, con l'opzione [QSA] che mantiene i parametri di richiesta.

Si consiglia di inserire queste istruzioni all'inizio del file .htaccess.