Robots.txt

Robots.txt - es un archivo de texto, utilizado en el contexto de SEO (Search Engine Optimisation), que proporciona orientación a los rastreadores web sobre archivos particulares y cuántas páginas deben ser indexadas y cuáles no. Forma parte del estándar del Protocolo de Exclusión de Robots.

¿Para qué sirve el archivo robots.txt?

El archivo robots.txt se coloca en el servidor de un sitio web y está a disposición del público en www.domena.pl/robots.txt. Los rastreadores de los motores de búsqueda consultan el archivo robots.txt antes de empezar a indexar un sitio web determinado. Este archivo tiene varios usos, como

Controlar el acceso: El archivo robots.txt permite a los administradores del sitio web bloquear el acceso de los robots de los motores de búsqueda a determinadas páginas de acceso. Esto puede ser útil si determinadas secciones de todo el sitio contienen datos confidenciales.

Evitar el contenido duplicado: Si un sitio tiene diferentes variantes de URL que conducen al mismo contenido, el archivo robots.txt permite a los administradores excluir las variantes no deseadas de la indexación para evitar problemas de contenido duplicado.

Gestión de la frecuencia de indexación: El archivo robots.txt permite controlar la frecuencia con la que los robots de los motores de búsqueda deben visitar el sitio.

Conviene recordar que el archivo robots.txt es sólo una recomendación para los robots de los motores de búsqueda, no un ejecutor. Algunos robots web pueden ignorar las reglas del archivo, por lo que también existen métodos adicionales para controlar la accesibilidad del contenido de las páginas web, como las cabeceras HTTP o las metaetiquetas noindex.

¿Cómo debe ser el archivo robots txt?

Un archivo robots.txt es un archivo de texto que debe colocarse en el directorio raíz de su sitio web en su servidor. He aquí un ejemplo de un archivo robots.txt sencillo:

User-agent: *

No permitir: /privado/

No permitir: /temp/

Disallow: /cgi-bin/

En el ejemplo anterior:

Agentes de usuario: * significa que estas instrucciones se aplican a todos los robots de los motores de búsqueda.

Disallow: /private/ significa que el directorio «privado» debe bloquearse y los robots de los motores de búsqueda no deben indexar las páginas.

Disallow: /temp/ significa que el directorio «temp» también debe bloquearse.

Disallow: /cgi-bin/ significa que el directorio «cgi-bin» también debe bloquearse.

Al crear un archivo robots.txt, es importante hacerlo con cuidado y actuar con cautela para evitar bloquear accidentalmente el acceso a partes importantes de su sitio. A continuación se ofrecen algunos consejos para crear un archivo robots.txt:

Asegúrese de que el archivo robots.txt se denomina exactamente como debe: «robots.txt».

Se recomienda que el archivo esté disponible en https://www.nazwadomeny.com/robots.txt.

Puede añadir algunas líneas con instrucciones Disallow para bloquear directorios o archivos específicos.

Puede utilizar comentarios que empiecen por el símbolo # para añadir explicaciones al archivo.

‍

¿Cómo editar el archivo robots.txt?

Para editar su archivo robots.txt, siga los siguientes pasos:

Inicie sesión en el servidor: Si usted es el propietario o administrador del sitio, tendrá que ir a la página de acceso que aloja el archivo robots.txt. Para ello, puede ser necesario acceder al panel de control de alojamiento o acceder al servidor a través del protocolo de transferencia de archivos (FTP).

Busque el archivo robots.txt: Navegue hasta el directorio donde se encuentra el archivo robots.txt en el servidor. Normalmente se trata del directorio raíz del sitio, pero también puede estar almacenado en un subdirectorio.

Edite el archivo robots.txt: Abra el archivo robots.txt con un editor de texto. Puede utilizar cualquier editor de texto como Notepad (para Windows) o TextEdit (para Mac).

Realice los cambios: Puede haber varias directivas en el archivo robots.txt, como User-agent, Disallow, Allow, etc. Para realizar cambios, añada o elimine las líneas pertinentes del archivo, según el resultado esperado.

Guarde el archivo: Una vez realizados los cambios en el archivo robots.txt, guárdelo manteniendo el nombre original.

Cargue el archivo en el servidor: Si utiliza FTP, utilice un cliente FTP para subir el archivo robots.txt actualizado al servidor. Asegúrese de sobrescribir el archivo anterior y de guardarlo en el directorio correcto.

Compruebe la sintaxis: Una vez que el archivo robots.txt esté en el servidor, compruebe su sintaxis para asegurarse de que no hay errores. Esto puede hacerse utilizando herramientas en línea o las herramientas disponibles en las herramientas para webmasters proporcionadas por los motores de búsqueda.

Es importante tener cuidado al editar el archivo robots.txt, ya que los cambios incorrectos pueden afectar a la forma en que los robots de los motores de búsqueda indexan el sitio.