File Robots.txt creato per impostazione predefinita

Questa guida fornisce informazioni sul file robots.txt creato per impostazione predefinita per l'hosting Web in cui questo file è assente.

Preambolo

Il file robots.txt funge da guida per i robot crawler dei motori di ricerca. È posizionato alla radice di un sito web e contiene istruzioni specifiche per questi robot, indicando quali directory o pagine sono autorizzate a esplorare e quali devono ignorare. Tuttavia, è importante notare che i robot possono scegliere di ignorare queste direttive, rendendo robots.txt una guida volontaria piuttosto che una regola rigorosa.

Contenuto del file

Se il file robots.txt è assente in un sito Infomaniak, viene generato automaticamente un file robots.txt con le seguenti direttive:

User-agent: *
Crawl-delay: 10

Queste direttive istruiscono i robot a spaziare le loro richieste di 10 secondi, evitando sovraccarichi inutili del server.

Eludere il robots.txt predefinito

È possibile eludere il robots.txt seguendo questi passaggi:

1. Crea un file vuoto chiamato "robots.txt" (servirà solo come segnaposto per evitare che le regole si applichino)
2. Gestisci la redirezione dell'Uniform Resource Identifier (URI) "robots.txt" al file da te scelto tramite un file .htaccess

Esempio

Questo esempio redirige l'URI "robots.txt" a "index.php", che sarebbe il caso se non avessimo la nostra regola predefinita. Si consiglia di inserire queste istruzioni all'inizio del file .htaccess.