Cómo Crear Archivo robots.txt en WordPress

Cómo Crear Archivo robots.txt en WordPress para Indexar tu Sitio Web Correctamente

Los motores de búsqueda son la fuente más importante de tráfico para tu sitio web, y que ayuda a nuevos visitantes a encontrarte, por tanto necesario configurar tu sitio web para que sea lo más optimizado posible. El archivo robots.txt juega un papel importante en esto, por tanto, hoy te enseñaremos qué es y cómo crear archivo robots.txt en WordPress.

¿Qué es Archivo robots.txt?

El archivo robots.txt en WordPress es un pequeño documento de texto, que se utiliza para permitir o denegar acceso de los bots de los motores de búsqueda de rastrear determinadas carpetas y página de tu sitio web, por tanto hay que usarlo con mucho cuidado.

robots.txt contiene un conjunto de instrucciones que solicitan a los bots de google u otro motor de búsqueda a ignorar determinados archivos o directorios en el sitio. Esto puede ser por la sensibilidad de la información o por razones de privacidad y seguridad que tú como dueño del sitio no quieres indexar o mostrar a los visitantes en los motores de búsqueda.

¿Es Importante Archivo robots.txt?

Los motores de búsqueda, principalmente google, usan rastreadores, o llamados también robots, para indexar tu sitio web, y entender su estructura. Lo que buscan en tu sitio es el archivo robots.txt en busca de tus instrucciones de rastreo y tus limitaciones.

Google y los demás motores pueden archivar tu sitio web sin este archivo, sin embargo es muy recomendable en las reglas de la optimización de motores de búsqueda disponer de un archivo robots.txt para hacer un rastreo completo y correcto del sitio web.

Crear Archivo robots.txt

La ubicación normal del archivo robots.txt es en la carpeta raíz de tu sitio web, junto con las carpetas wp-content, wp-admin y otros archivos. Es un simple archivo de texto que puedes abrir con Notepad.

Para asegurarte de que existe, debes conectarte a tu servidor para explorar los archivos de tu instalación para ubicar dicho archivo mediante FTP. Te recomedamos el artículo cómo utilizar FTP si es la primera vez que utilizas un programa para transferir archivos en WordPress.

Crear robots.txt Manualmente

Si no encuentras el archivo robots.txt, puedes crearlo de forma sencilla. Abres un editor de texto como Notepad y creas un archivo con el nombre de robots.txt con este contenido.

Después de crear archivo robots.txt lo subes en la carpeta raíz de tu sitio WordPress, para que los bots de motores de búsqueda lo lean en su próxima visita a tu página. La frecuencia de visita es relativa a la frecuencia de cambios y otros factores.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Este es la información más básica que un archivo robots.txt puede contenido, en la cual deshabilitas el acceso de los bots a la carpeta de wp-admin ya que no contiene nada importante para los visitantes, y se utiliza sólo por el administrador para acceder al panel del sitio.

Pero permitimos acceso al recurso admin-ajax.php que es importante tanto para la parte frontal del sitio como la parte de administración, que utiliza AJAX para realizar determinadas funciones en plugins o temas.

Crear Archivo robots.txt con Plugin

Crear archivo robots.txt en WordPress con plugin Yoast SEO desde las Herramientas

Si no te sientes tan confiado como para crear el archivo robots.txt manualmente entonces te invitamos a utilizar otra alternativa más automatizada. Si tienes instalado el plugin Yoast SEO te diriges al submenú SEO » Herramientas, en el enlace “Editor de archivos”, encuentras el contenido de archivo robots.txt pero si no lo tienes, el mismo plugin de WordPress te genera uno al dar clic en el botón Crear un archivo robots.txt en la misma página.

Cuando das clic en ese botón aparece el contenido con valores predeterminados de un archivo común y corriente robots.txt que hemos visto arriba, los cuales puedes personalizar y editar desde la misma página.

Optimizar Archivo robots.txt

Es cierto que la configuración predeterminada del archivo robots.txt es suficiente para que los motores de búsqueda detecten correctamente tus instrucciones básicas. Pero en la mayoría de los casos, es necesario optimizar este archivo para un rastreo más eficiente.

Para ello vamos a añadir algunos valores interesantes del sitio web, para facilitar el trabajo de rastreo de google, añadiendo los mapas de la estructura semántica, para que los motores de búsqueda indexen tu sitio de forma correcta y ordenada.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://wpbody.com/post-sitemap.xml
Sitemap: https://wpbody.com/page-sitemap.xml

Este es un ejemplo de un archivo robots.txt personalizado en WordPress, que es el que usamos actualmente en WPBody, que nos permite especificar a los motores de búsqueda cuáles son mapas del sitio XML que tenemos y que queremos dar prioridad a la hora de indexar el sitio web.

Puedes personalizar el archivo robots.txt según cómo está estructurado tu sitio web, y qué tipo de contenido quieres solicitar que los motores de búsqueda tomen en cuenta para renderizar tu página e indexarla.

Conclusión

El archivo robots.txt es muy importante en WordPress, para mejorar la optimización del sitio web, y facilitar el acceso de los robots de google  y otros motores de búsqueda a tu contenido, pero debes tener mucho cuidado con ello para no bloquear acceso a recursos necesarios para el funcionamiento óptimo del sitio, y por ende para su posicionamiento en Google.

Si te resulta útil este artículo, por favor compártelo, y te invitamos a seguir nuestra página en facebook y twitter, también puedes seguirnos por google plus para obtener contenido actualizado sobre seguridad y optimización de WordPress.

1 COMENTARIO

DEJAR COMENTARIO

Favor escribir tu comentario!
Favor ingresar tu nombre aquí