Lo ideal para los propietarios de un sitio web es que el contenido de sus páginas sea indexado por los motores de búsqueda y lograr un buen posicionamiento en las SERPs. Sin embargo, puede haber ocasiones en las que se quiera disuadir a los buscadores de mostrar el contenido de algunas páginas en particular.

En este articulo de Jimax Studio te mostraremos como bloquear el contenido de una página para que no sea indexada por los motores de búsqueda. Pero antes analizaremos algunas situaciones por las que no quisiéramos que se muestre contenido de tu web.

¿Por qué disuadir a los buscadores de indexar un sitio o página web?

Si lo ideal es que los usuarios conozcan el contenido de un sitio y compren los productos que promocionan, entonces ¿Por qué bloquear todo o parte de la web? Puede haber varias situaciones por las que los propietarios de sitios web quisieran bloquear contenido de la web, he aquí algunas:

• El sitio web aun no esta bien estructurado, está en pleno desarrollo y no está listo para que el público lo vea.
• Por cuestiones de seguridad. Es posible que se quiera mantener un contenido en privado o para que solo sea visto por personal autorizado.
• Para ocultar el contenido de páginas que están desactualizadas u obsoletas.
• Para evitar contenido duplicado que pueda llevar a penalización.
• Cuando se crea un duplicado del sitio para realizar pruebas o ensayos.

Ahora veamos cómo bloquear el contenido de una página para que no sea indexada y no aparezca en los resultados de los motores de búsqueda.

¿Cómo bloquear una página para que no sea indexada en los motores de búsqueda?

Si un sitio tiene un nombre y un dominio y está incluido en algún servidor es muy probable que aparezca indexado y sea visto por el público. Sin embargo, hay maneras de bloquear la indexación de un sitio o algunos de sus contenidos utilizando ciertos métodos que describiremos a continuación.

Utilizar Google Search Console

Entre los servicios que ofrece Google Search Console está el de poder bloquear a Google para evitar que indexe un sitio web o determinadas páginas del mismo. Esta opción es solo temporal, por seis meses y solo es aplicable a Google, o sea que no sirve para bloquear páginas con otro navegador.

Es muy fácil de usar, solo tienes que anexar tu sitio a Google Search Console y dirigirte a la opción “Eliminaciones” y decantarse por la opción “Eliminación temporal” > Nueva solicitud. Inmediatamente nos ubicamos en “Eliminar solo esta URL” y anclar la página que queremos bloquear temporalmente.

Utilizar WordPress

Si utilizas un editor de texto como WordPress puedes bloquear tu sitio web completo o una página del mismo para que no aparezca en los resultados de búsqueda del navegador.

Bloquear una página completa para que no sea indexada

Una manera eficaz de bloquear tu sitio con WordPress es a través de la función Ajustes. Desde el menú de la izquierda del editor ubicamos la ventana Ajustes y de la pagina desplegada marcamos la opción Visibilidad en los motores de búsqueda > Disuade a los motores de búsqueda de indexar este sitio. Para completar el proceso le damos a Guardar Cambios.

Si queremos revertir los cambios para que el sitio sea indexado o aparezca en los resultados de búsqueda, desvinculamos la opción Disuade a los motores de búsqueda de indexar este sitio. Puede ser que los cambios tarden un poco en hacerse efectivos.

Bloquear una o varias páginas del sitio

Para bloquear una o varias páginas de WordPress podemos valernos del plugin Yoast SEO. Este es el plugin mas usado por el editor que además de las funciones de edición de meta etiquetas, ofrece la opción de indexación de URLs específicas.

Abrimos la página que queremos bloquear en Yoast SEO y en el símbolo de configuración o engranaje con la pregunta ¿Permitir a los motores de búsqueda mostrar esta pagina en los resultados? Colocamos No y seguidamente guardamos la página.

Proteger las páginas con una contraseña

Los métodos anteriores no son infalibles ya que algunos motores de búsqueda podrían ignorar los ajustes realizados a tu sitio web. Una manera mas segura y eficaz de bloquear una página para que no sea indexada y no se pueda acceder a ella desde los resultados de búsqueda del navegador es protegerlos con una contraseña.

Esta opción es posible también desde WordPress ubicándonos en el Posts Pages y editando la página que queremos ocultar. Desde la ventana Estado y visibilidad cambiamos a Protegido con contraseña y seguidamente introducimos una contraseña y guardamos.

Editando el archivo Robots.txt

El archivo robots.txt se sitúa en la raíz de los sitios web y controlan a qué contenido pueden acceder los rastreadores. Estos archivos tienen reglas que permiten o no el acceso de determinados rastreadores y bloquean el acceso a determinados dominios o subdominios de un sitio web. Se puede bloquear el rastreo e indexación de un sitio completo de una o varias páginas del mismo.

Este es un ejemplo sencillo de un archivo robots.txt para evitar el acceso de un buscador determinado a una página en particular:

User – agent: Gooblebot

Disallow:  /nogooblebot/

Sitemap: https: //www.example.com/sitemap.tml

Esta configuración indica que el rastreador Gooblebot no puede rastrear ninguna página que comience con la URL https://example.com/nogooblebot/.

Poner enlaces tipo nofollow

Pudiera darse el caso que la página A que no queremos que el buscador indexe esté enlazada con otra página B que si lo está. En este caso aun si hemos bloqueado el acceso directo a la página A esta puede ser rastreada por los bots a través de los enlaces dirigidos desde la página B y ser mostrada en los resultados de búsqueda.

Puede haber varias soluciones para evitar esta situación y una muy fácil y rápida es colocando estos enlaces como nofollow. Para hacer esto basta con colocar el texto nofollow en el atributo rel del enlace.

Resumen

Si quieres bloquear una página para que no sea indexada por los motores de búsqueda puedes hacerlo desde Google Search Console, desde las herramientas de Ajustes del editor WordPress, editando el archivo robots.txt o protegiendo tu página con una contraseña. Esperamos que estas recomendaciones te sean de utilidad en tus labores de webmaster.