Questa guida fornisce informazioni sul file robots.txt creato per impostazione predefinita per gli hosting Web su cui questo file è assente.

Premessa

• Il file robots.txt funziona come una guida per i robot di ricerca dei motori di ricerca
• Viene collocato alla radice di un sito web e contiene istruzioni specifiche per questi robot, indicando quali directory o pagine sono autorizzati a esplorare e quali devono ignorare
• Tuttavia, i robot possono scegliere di ignorare queste direttive, rendendo il robots.txt una guida volontaria piuttosto che una regola rigida

Contenuto del file

Se il file robots.txt è assente da un sito Infomaniak, un file con lo stesso nome viene generato automaticamente con le seguenti direttive:

User-agent: *
Crawl-delay: 10

Queste direttive indicano ai robot di spaziare le loro richieste di 10 secondi, evitando così di sovraccaricare inutilmente i server.

Aggirare il robots.txt creato per impostazione predefinita

È possibile aggirare il robots.txt seguendo questi passaggi:

1. Crea un file vuoto robots.txt (servirà solo come posizione per cui le regole non si applicheranno).
2. Gestisci la redirezione dell'URI (Uniform Resource Identifier) robots.txt verso il file di tua scelta utilizzando un file .htaccess.

Esempio

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} /robots.txt$
RewriteRule ^robots\.txt$ index.php [QSA,L]
</IfModule>

Spiegazioni

• Il modulo mod_rewrite di Apache è attivato per consentire i reindirizzamenti.
• La condizione RewriteCond %{REQUEST_URI} /robots.txt$ verifica se la richiesta riguarda il file robots.txt.
• La regola RewriteRule ^robots\.txt$ index.php [QSA,L] reindirizza tutte le richieste verso robots.txt verso index.php, con l'opzione [QSA] che conserva i parametri della richiesta.

È consigliabile inserire queste istruzioni all'inizio del file .htaccess.