Generar fichero robots.txt de forma sencilla

¿Que es el fichero robots.txt y que hace?

Los buscadores tipo Google se sirven de robots, programas con algoritmos mas o menos complejos, que les permiten leer una página web, recuperar y guardar su contenido -o partes relevantes del mismo- en una base de datos y seguir los enlaces que tenga a otras páginas web

Estos programas navegan incansablemente saltando de enlace a enlace. Su labor es muy util, ya que permite que estos buscadores tengan resultados que ofrecernos. Pero también puede ser perjudicial. Los propietarios de una página pueden desear que parte de su contenido no sea indexado (por ejemplo, porque se trata de contenido temporal) o puede suceder que los robots (spiders) sometan al servidor a un esfuerzo excesivo, al pedir demasiadas páginas muy seguidas.
O puede suceder lo contrario … que deseemos asegurarnos que determinadas páginas son indexadas.

Con diversas limitaciones, podemos dar instrucciones a los robots. ¿Como? mediante el archivo robots.txt.

Teneis la guia oficial de Google aqui para aprender mas sobre este archivo, como crearlo y como subirlo a vuestra web: https://support.google.com/webmasters/answer/6062596?hl=es