Robots.txt es un archivo de muchos diseñadores web a cabo en sus servidores para controlar cómo los robots de búsqueda " rastrear " su sitio . Un archivo robots.txt fuerte puede ayudar a los sitios directos , como Google y Bing, con el contenido relevante y bloquear su acceso a la base de datos protegida. Habilitación robots.txt puede tomar un poco de trabajo , pero su desactivación es mucho más fácil. Siempre se puede volver a activar más tarde. Instrucciones
1

registro en la carpeta del servidor que contiene el archivo robots.txt .
2

Cambiar el nombre de su archivo robots.txt otra cosa, por ejemplo " robotsdisabled.txt " o " robotsoff.txt . " En muchas configuraciones de acceso al servidor , simplemente haga clic en el nombre del archivo y esperar un par de segundos para que el nombre de destacar que lo haga. Todo lo que no se escribe exactamente " robots.txt " lo apagará , mientras se mantiene el archivo en su servidor. Puede volver a activarlo en cualquier momento cambiando el nombre de nuevo .
3

Guardar los cambios en el servidor. La próxima vez que un motor de búsqueda rastrea su sitio , ignorará el archivo con discapacidad.