User-agent: *    # aplicable a todos
Allow: /      # permite la indexacion de todas las paginas

User-Agent: *
Disallow: /admin/    #  deshabilita la indexación de esta carpeta 
Disallow: /css/   #   deshabilita la indexación de esta carpeta
Disallow: /fonts/  #    deshabilita la indexación de esta carpeta
Disallow: /images/   #    deshabilita la indexación de esta carpeta
Disallow: /img/   #    deshabilita la indexación de esta carpeta
Disallow: /js/   #    deshabilita la indexación de esta carpeta
Disallow: /jsc/   #    deshabilita la indexación de esta carpeta
Disallow: /phps/   #    deshabilita la indexación de esta carpeta
Disallow: /sitemap/   #    deshabilita la indexación de esta carpeta
Disallow: /spain/   #    deshabilita la indexación de esta carpeta
Disallow: /temp/   #    deshabilita la indexación de esta carpeta
Disallow: /X/   #    deshabilita la indexación de esta carpeta

# Un documento CADA  30 minutos
#Request-rate: 1/30m