Desde hace algunos días, Google ha incorporado dentro de las herramientas para webmasters, un generador interactivo del archivo robots.txtRecordemos que allí es donde se instruyen las directivas a los bots, crawlers, etc. sobre qué carpetas o archivos no deben ser incluídos en los índices de los motores de búsqueda.
Vía: Search Engine RoundTable
Mi nombre es