Como optimizar su robots.txt en wordpress para seo

Como optimizar su robots.txt en wordpress para seo

¿Desea optimizar su archivo robots.txt para WordPress?

No estas seguro de por qué y cómo el fichero robots.txt es importante para el SEO?

Tenemos todo cubierto. En este artículo, vamos a mostrarle cómo optimizar su robots.txt WordPress para SEO y ayudarle a entender la importancia del archivo robots.txt.

Recientemente, un usuarioos me preguntó si necesita un archivo robots.txt y cuál es la importancia de la misma? El archivo robots.txt de su sitio juega un papel importante en el rendimiento SEO general de su sitio.Básicamente le permite comunicarse con los motores de búsqueda y hacerles saber que partes de su sitio que deberían ser indexados o no.

¿Realmente necesito un archivo robots.txt?

La ausencia de un archivo robots.txt no parará los motores de búsqueda de rastreo y la indexación de su sitio web. Sin embargo, es muy recomendable que cree una.Sin embargo, es muy recomendable que cree una.Si desea enviar de su sitio XML sitemap a los motores de búsqueda, entonces aquí es donde los motores de búsqueda buscará su sitemap XML a menos que haya especificado en Google Webmaster Tools. Es muy recomendable que si usted no tiene un archivo robots.txt en su pagina web, entonces usted debe crear inmediatamente una.

¿Dónde está el archivo robots.txt? Cómo crear un archivo robots.txt?

El archivo robots.txt reside habitualmente en la carpeta raíz de su sitio ( en su alojamiento web ). Usted tendrá que conectarse a su sitio usando un cliente FTP o utilizando el administrador de archivos cPanel para visualizarla.Es igual que cualquier archivo de texto normal, y se puede abrir con un editor de texto plano como el Bloc de notas.

Si usted no tiene un archivo robots.txt en el directorio raíz de tu sitio web, entonces siempre se puede crear uno.Todo lo que necesitas hacer es crear un nuevo archivo de texto en el ordenador y guardarlo como archivo robots.txt. A continuación, simplemente subirlo a la carpeta raíz de su sitio.

Cómo utilizar el archivo robots.txt?

El formato de archivo robots.txt en realidad es bastante simple. La primera línea por lo general los nombres de un agente de usuario.El agente de usuario es el nombre del robot de búsqueda que está intentando comunicarse.Por ejemplo, el robot de Google o Bingbot. Puede utilizar asterisco * para instruir a todos los robots.

Ver un ejemplo de un archivo robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

En este archivo robots.txt de ejemplo para WordPress, hemos instruido a todos los robots para indexar nuestro directorio de carga de imágenes.

En las siguientes dos líneas las hemos rechazado para indexar nuestro directorio de plugins de WordPress y el archivo readme.html.

Optimización de su archivo robots.txt para SEO

En las directrices para webmasters, Google aconseja a los webmasters para no utilizar el archivo robots.txt para ocultar contenido de baja calidad.Si estabas pensando en usar el archivo robots.txt para detener Google que indexe su categoría, fecha y otras páginas de archivo, a continuación, que no puede ser una buena elección.

Recuerde, el propósito de robots.txt es instruir a los robots qué hacer con el contenido que se rastrea en su sitio web.Esto no detiene los robots en indexar tu sitio.

Hay otros plugins de WordPress que le permiten añadir etiquetas meta como follow, nofollow y noindex en sus páginas de archivo.El plugin WordPress SEO by Yoast también le permite hacer esto. No estamos diciendo que usted debe tener sus páginas de archivo deindexed, pero si usted quiere hacerlo, entonces esa es la forma correcta de hacerlo.

Usted no necesita añadir su página de inicio de sesión para WordPress, el directorio admin, o la página de registro para robots.txt porque el inicio de sesión y las páginas de registro tienen noindex añadido como etiqueta meta por el mismo WordPress.

Se recomienda que usted no debe permitir el readme.html en su archivo robots.txt.Este archivo puede ser utilizado por alguien que está tratando de averiguar qué versión de WordPress está utilizando.Por otro lado si alguien se está ejecutando una consulta malintencionada para localizar sitios de WordPress utilizando una versión específica, entonces esta etiqueta disallow puede proteger de esos ataques masivos.

También puede desactivar el directorio de plugins de WordPress. Esto fortalecerá la seguridad de su sitio si alguien está buscando un plugin vulnerable específico para explotar durante un ataque en masa.

Adición XML sitemap para archivo robots.txt

Si está usando el plugin de WordPress SEO by Yoast o algún otro plugin para generar su sitemap XML, entonces su plugin intentará añadir automáticamente las líneas relacionadas tu mapa en el archivo robots.txt.

Sin embargo, si falla, entonces su plugin te mostrará el enlace a su XML Sitemaps que puede agregar a su archivo robots.txt manualmente así:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

¿Como deberia ser un archivo robots.txt ideal?

Sinceramente, muchos blogs populares utilizan archivos robots.txt muy simples. Su contenido puede variar, dependiendo de las necesidades del sitio específico:

User-agent: *
Disallow:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Este archivo robots.txt simplemente le dice a todos los robots para indexar todo el contenido y proporciona los enlaces a mapas de sitio XML del sitio.


Themetf