Administrar archivo robots.txt Creado por defecto

Esta guía proporciona información sobre el archivo robots.txt creado por defecto para los Alojamiento en la Web en los que este archivo no está disponible.

Preámbulo

• El archivo robots.txt actúa como guía para los robots de exploración de motores de búsqueda
• Se coloca en la raíz de un sitio web y contiene instrucciones específicas para estos robots, indicando qué directorios o páginas están autorizados a explorar y cuáles deben ignorar
• Atención, sin embargo, los robots pueden optar por ignorar estas directivas, haciendo de robots.txt uno guía voluntaria En lugar de una regla estricta

Contenido del archivo

Si el archivo robots.txt está ausente de un sitio web Infomaniak, un archivo del mismo nombre se genera automáticamente con las siguientes directrices:

User-agent: *
Crawl-delay: 10

Estas directrices indican a los robots que espacian sus peticiones de 10 segundos, lo que evita sobrecargar innecesariamente los servidores.

Contornar el robots.txt Creado por defecto

Es posible eludir el robots.txt siguiendo estos pasos:

1. Cree un archivo vacío robots.txt (Sólo servirá de lugar para que las reglas no se apliquen).
2. Gestione la redirección del URI (Uniform Resource Identification) robots.txt al archivo de su elección con la ayuda de un archivo .htaccess.

Ejemplo

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} /robots.txt$
RewriteRule ^robots\.txt$ index.php [QSA,L]
</IfModule>

Explicación

• El módulo mod_rewrite Apache está activado para permitir la redirección.
• La condición RewriteCond %{REQUEST_URI} /robots.txt$ comprueba si la consulta se refiere al archivo robots.txt.
• La regla RewriteRule ^robots\.txt$ index.php [QSA,L] redirige todas las peticiones a robots.txt a index.php, con la opción [QSA] que mantiene los parámetros de consulta.

Se recomienda colocar estas instrucciones al principio del archivo .htaccess.