El proceso mediante el cual llevamos las páginas de nuestro sitio web a la base de datos de un buscador es indexar una web en Google para el caso. Pero, ¿qué pasa si queremos el proceso al contrario, desindexar la web de Google, eliminar la url?
Cuando puede pasar algo así: por ejemplo si teníamos un campaña y ya queremos desindexar esa página, no solo queremos eliminarla de nuestro sitio sino sacarla completamente de Google.
Se da también el caso de páginas dentro de nuestro sitio que son irrelevantes si de indexación hablamos. Pienso por ejemplo en la url de «Política de Privacidad» ; legalmente es una página obligatoria pero difícilmente un usuario hará este tipo de búsqueda para encontrar nuestro sitio web.
También puede pasar que en nuestro proceso de creación del sitio web se nos haya ido una página de prueba, has indexado url´s que no preveías, tienes contenidos duplicados, alguna publicación tiene en cola problemas legales, etc.
Básicamente este es el mismo proceso como en la indexación, Google entra al sitio web, conoce que hay unas páginas que si queremos indexar y el resto le «decimos» que las saque del índice.
¿Qué hacer para desindexar, eliminar una url de Google?
Existen varias opciones:
Utilizar la etiqueta noindex
En el HTML de tu página puedes insertar la etiqueta noindex. Esto implica que el robot de Google podrá rastrear tu página pero al detectar la etiqueta no la añadirá a los resultados de búsqueda.
Debería quedar algo así: <meta name=¨robots¨ content=¨noindex¨/>
Si tienes el plugin de Yoast instalado el proceso es muy simple. Solo ve a tu página, entrada, etc. Al final donde tienes la configuración de parámetros de SEO de Yoast haz click en «Avanzado/¿Permitir a los motores de búsqueda mostrar esta Entrada en los resultados?». Define la opción de «No» y guarda tus cambios. Si ves el código fuente de tu página podrás comprobar el resultado.
Deberemos tener en cuenta que esta etiqueta es una directiva, no constituye una obligación para Google (como casi nada en este mundo), estos cambios no son reflejados de inmediato (pero peor es no hacerlo), verifica que la url no esté bloqueada en robots.txt, si Google no puede entrar tampoco podrá saber que tienes una etiqueta añadida en la página.
Acá te dejo la información que proporciona Google.
Eliminar la url directamente de Google Search Console
Entra en Google Search Console, en el apartado «Retirada de url´s/Nueva Solicitud». Aquí tendrás que ingresar la url que quieras retirar, sigue las instrucciones y ten en cuenta este mensaje, lo verás en el cajón destinado a introducir la url:
«Se bloquean las URL de los resultados de la Búsqueda de Google durante seis meses y se borra tanto su fragmento como la versión almacenada en caché, que se volverán a generar cuando las páginas vuelvan a rastrearse. Para retirarlas de forma permanente, impide que se indexen o quítalas de tu sitio web».
Google Search Console
Esto significa que si transcurrido el plazo Google vuelve a encontrar la url la indexará nuevamente. Por lo tanto aplica la recomendación, que puede ser entonces la etiqueta noindex de arriba o retirar la página de forma permanente.
Definir la url como canónica
Google es muy estricto con el contenido duplicado. Así como está penalizado copiar de otras web, tampoco estará muy cómodo si detecta dentro de tu propia web este tipo de contenido.
Usualmente este problema surge cuando por ejemplo en una tienda online tienes diferentes tallas o colores de un mismo producto (básicamente la descripción de tu producto es igual, solo cambia el tamaño o incluso el precio).
Este detalle aunque obvio puede entorpecer tu trabajo de SEO porque recordemos que Google emplea un robot para rastrear los millones de sitios web que existen, no hay un ser humano que propiamente ingrese en tu página web y determine que efectivamente tienes un producto con tres colores, sino que tienes que decirle al robot mediante código que ese producto tiene variaciones.
Dicho esto lo que deberás implementar es una etiqueta que se sitúa en el header del HTML de tu página. Concretamente le dirás a Google que esa es tu página principal y que el resto dependen de ella.
Aquí tienes un ejemplo:
url donde se duplica tu contenido: https://tudominio.com/ofertas/producto/productos-color-negro
url que quieres configurar como principal: <link rel=¨cannonical¨ href=¨https://www.tudominio.com/productos¨/>
Cómo configurarlo:
No te rompas la cabeza, tienes SEO de Yoast. Otra vez vas a tu entrada o página que quieras configurar como canonical. En «Avanzado/URL canónica» inserta la url de referencia, guarda cambios y a rodar.
Por último no mezcles etiquetas noindex, disallow o nofollow con canonical, es una mala práctica descrita por Google. Define el uso de una u otra.
Acá te dejo la información que proporciona Google.
Disallow en robots.txt
robots.txt es un archivo muy pequeñito que deberás tener entre todos los que conforman el directorio de tu sitio web (tu servidor). Este archivo facilita el trabajo a los robots para que puedan rastrear tus páginas más importantes. Al abrir el archivo encuentras este aspecto más o menos:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Con el comando disallow podrás impedir que el robot acceda a la página que no quieres que se rastree. En mi experiencia bloquear páginas desde aquí te va a reportar errores en Search Console, así que te recomiendo mesura.
Para el caso de una web sencilla, con requerimientos básicos como esta donde estás, creo que es más sencillo utilizar la etiqueta noindex. Google la detectará y rastreará pero no la indexará que es en definitiva lo que estamos buscando.
Código de respuesta http para desindexar web o eliminar una url de Google
Estos códigos tienen gran impacto a nivel SEO.
¿Te suena el error 404 o Página no encontrada? Eso es un código de respuesta http y puede dar muchos dolores de cabeza.
El 404 específicamente indica que la página no existe, la han borrado. Deberemos tener especial cuidado en este apartado porque si aún Google la tiene indexada la seguirá mostrando en los resultados pero como la página no existe, obviamente cuando el usuario intente entrar no encontrará lo que busca y se irá a otro sitio.
Esto a la larga afectará tu trabajo SEO. Recuerda que Google quiere proporcionar al usuario lo que busca y si no se quedan en tu página mucho tiempo estarás indicándole que tu contenido no interesa.
Si por ejemplo, tenías un producto en tu tienda que ya no existe puedes utilizar algunas de las variantes de arriba o entonces un código de redirección hacia otra url:
301: para páginas movidas permanentemente.
302: para páginas movidas temporalmente. Por ejemplo si tienes la web en mantenimiento. A veces vemos esa página de aterrizaje que pone «Estamos mejorando para ti» o algo similar.
En definitiva para aumentar la visibilidad de tu sitio deberás asegurarte de que los robots de los motores de búsqueda rastreen la información más relevante y actualizada.
Aunque no creo que este tema lo necesites todos los días sí que deberás tenerlo en cuenta si en algún momento quieres eliminar o incluso modificar alguna url de tu sitio web. Intenta pensar de manera lógica que es lo que intenta también hacer el robot y con ello ganarás en esfuerzos.
