manuel lopez consultor seo sem analytics

Qué es Robots.txt?

El archivo robots.txt es un archivo de texto situado en la raiz de nuestro directorio que sirve para indicar a los robots de los buscadores el contenido que no queremos que indexen ni muestren en los resultados de búsqueda.

Este archivo se puede crear con un sencillo editor de texto como el bloc de notas de windows y debe alojarse en nuestro servidor en la carpeta raiz, de forma que se pueda acceder mediante la dirección tudominio.com/robots.txt.

El contenido del archivo puede indicar el nombre de los robots a los que se dirigen las instrucciones y un listado de los directorios o archivos que no deben indexar.

Podemos dirigir nuestro listado de exclusiones a todos los robots con el comando User-agent: *, o por ejemplo solo al robot de google con el comando User-agent: Googlebot.

A continuación podemos especificar una lista de directorios o archivos que no queremos que se indexen con el comando Disallow, como por ejemplo los que contienen los programas de gestión de la web.

De esta forma podemos optimizar el recorrido de los robots, para que no pierdan el tiempo que nos dedican (crawl budget) en rastrear archivos que no deben ser indexados.

El formato habitual es el siguiente:

User-agent: *
Disallow: /carpeta1/
Disallow: /carpeta2/archivo.html

Una vez hayas creado y subido tu archivo robots.txt a la carpeta raiz de tu servidor, puedes comprobar su funcionamiento con el Probador de robots.txt de Search Console.

Esta herramienta comprueba si el archivo robots.txt bloquea el acceso de los rastreadores web de Google a URL concretas de tu web.

Ten en cuenta que el contenido del archivo robots.txt es público y que nada obliga a los robots a seguir sus instrucciones, especialmente si se trata de robots de malware.

Si quieres aprender más sobre este archivo, puedes echar un vistazo a la ayuda de Search Console.

 

Volver al Diccionario SEO - Glosario de términos de marketing digital

 

Pin it

Ratio: 5 / 5

Inicio activadoInicio activadoInicio activadoInicio activadoInicio activado
 
­

Usamos cookies propias y de terceros para facilitar su navegación. Si continúa navegando consideramos que acepta su uso. Ver Política de Cookies