Archivo Robots.txt creado por defecto

Esta guía proporciona información sobre el archivo robots.txt creado por defecto para el alojamiento web en el que este archivo está ausente.

Preambulo

El archivo robots.txt actúa como una guía para los robots rastreadores de motores de búsqueda. Se coloca en la raíz de un sitio web y contiene instrucciones específicas para estos robots, indicando qué directorios o páginas pueden explorar y cuáles deben ignorar. Sin embargo, es importante tener en cuenta que los robots pueden optar por ignorar estas directivas, lo que convierte a robots.txt en una guía voluntaria en lugar de una regla estricta.

Contenido del archivo

Si el archivo robots.txt está ausente en un sitio de Infomaniak, se genera automáticamente un archivo robots.txt con las siguientes directivas:

User-agent: *
Crawl-delay: 10

Estas directivas instruyen a los robots a espaciar sus solicitudes cada 10 segundos, evitando una sobrecarga innecesaria del servidor.

Evitar el robots.txt predeterminado

Es posible evitar el robots.txt siguiendo estos pasos:

1. Crear un archivo vacío llamado "robots.txt" (solo servirá como marcador de posición para que las reglas no se apliquen)
2. Gestionar la redirección del Identificador de Recurso Uniforme (URI) "robots.txt" al archivo de su elección mediante un archivo .htaccess

Ejemplo

Este ejemplo redirige el URI "robots.txt" a "index.php", que sería el caso si no tuviéramos nuestra regla predeterminada. Se recomienda colocar estas instrucciones al principio del archivo .htaccess.