Generar fichero robots.txt de forma sencilla

Comparte:

¿Que es el fichero robots.txt y que hace?

Los buscadores tipo Google se sirven de robots, programas con algoritmos mas o menos complejos, que les permiten leer una página web, recuperar y guardar su contenido -o partes relevantes del mismo- en una base de datos y seguir los enlaces que tenga a otras páginas web

Estos programas navegan incansablemente saltando de enlace a enlace. Su labor es muy util, ya que permite que estos buscadores tengan resultados que ofrecernos. Pero también puede ser perjudicial. Los propietarios de una página pueden desear que parte de su contenido no sea indexado (por ejemplo, porque se trata de contenido temporal) o puede suceder que los robots (spiders) sometan al servidor a un esfuerzo excesivo, al pedir demasiadas páginas muy seguidas.
O puede suceder lo contrario … que deseemos asegurarnos que determinadas páginas son indexadas.

Con diversas limitaciones, podemos dar instrucciones a los robots. ¿Como? mediante el archivo robots.txt.

Teneis la guia oficial de Google aqui para aprender mas sobre este archivo, como crearlo y como subirlo a vuestra web: https://support.google.com/webmasters/answer/6062596?hl=es

MuR3

1984 | ASTURIAS | INFORMATICO | RETRO-GAMER | BLOGGER | YOUTUBER

Un comentario en «Generar fichero robots.txt de forma sencilla»

  • el 19/01/2011 a las 19:45
    Enlace permanente

    Hola,

    Estimado webmaster, visité tu web y está excelente, me encantaria tenerla entre mis enlaces en mis directorio web.
    Y por mi parte te pediría un enlace hacia mi web y asi beneficiar ambas webs con más visitas.
    Si estás deacuerdo no dudes en escribirme a melannieagurto@gmail.com

    Éxitos con tu web.
    Un cordial saludo
    Melannie .

    Respuesta

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.