Surgio la necesidad de investigar un poquito sobre el tema, así que les reúno la info acá.
Habría un par de técnicas para lograrlo:
1. Herramientas de Google
Si estás usando las herramientas para webmasters de google, tenés una opción para notificar la baja de la url del motor de google.
2. Robots.txt
Genera un archivo de texto con el nombre 'robots.txt', en el directorio raíz (ej: "http://www.midominio.com/robots.txt").
Este fichero debería contener el siguiente código:
User-agent: googlebot
Disallow: /
El archivo robots.txt es escaneado por defecto por los robots, o crawlers de los buscadores, antes que el contenido del sitio, esperando alguna indicación. La primera linea, identifica al robot específico (en este caso el de google), o se puede usar el selector universal * para indicar "todos"; y la segunda refiere a qué directorio queremos desactivar (poniendo / estamos indicando el directorio raíz).
3. Metatag
Declarando una etiqueta metatag en cada html que se quiere excluir de los resultados de búsqueda.
META NAME="googlebot" CONTENT="NOINDEX, NOFOLLOW"
En el Name ponemos el nombre del robot, y en Content, las indicaciones correspondientes. Como toda etiqueta metatag, va dentro del head.
... entonces, por ahora:
La diferencia en desactivar la indexación de contenidos con la url a través de las herramientas de webmaster de google, es que debería resolverlo en un marco de 24 hs (así lo promete el sistema).
Las otras dos opciones corren, o se activan, no a partir de la subida de tus archivos al servidor, sino una vez que pase el robot del buscador y actualice la info del sitio.
Midiendo la urgencia de la tarea o si hubiera cuestiones de seguridad de por medio, queda analizar , que técnica (o combinación, ya que no generan conflicto entre sí), se pueden implementar.
No hay comentarios:
Publicar un comentario