Crear espejos de sitios web?

Imagen de rafael

Forums: 

Hay un sitio web dinámico en asp que necesito migrarlo a html estático utilizando wget para poder navegar sin conexión a internet o compartir el sitio en una lan.

Entonces para hacer esto he tratado algunas cosas con wget:

wget --mirror --convert-links --backup-converted --html-extension -o salida.log http://www.xxxx.com
Al hacer esto parece que el servidor cree que estoy haciendo un DoS y al parecer me bloquea. Normalmente se me queda siempre en el mismo archivo. Archivo que me lo puedo bajar directamente sin ningún problema.

En este momento estoy tratando con la opción --wait=3 para que las descargas de las páginas se hagan cada 3 segundos y así no saturar al servidor. Que por cierto si se satura :( (iss :( aunque con apache creo que podría pasar).

Así que si alguien tiene otra solución o cre que hay una mejor manera de hacerlo con wget les agradecería mucho por su ayuda.

Saludos,

Rafael

si haces esto

Imagen de punky

man wget con eso te sale o quitale el -o salida.log , y mira que te sale en la pantalla o si le viste salida.log a ver que sale?.
--html-extension eso te hace o que solo baje htmls creo
Pero recuerda eso convierte a .html a los archivos
bueno ahi te toca leer man wget

Soy un angelito se los juro los cuernos los tengo pa sostener mi aro : ) y nos gusta la carne de negro azaa a la parrilla

No hay lenguajes de programación malos solo programadores ineptos:

El problem es que hay un

Imagen de rafael

El problem es que hay un archivo que se demora 26 minutos en bajar. Me parece que es porque el wget hace las peticiones muy rápido y satura al servidor.

el --html-extensions hace que todos los archivos que te bajes les pongo .html. Por ejemplo scriptx.php?var=valor a scriptx.php?var=valor.html. Algo util para garantizar que luego cualquier navegador pueda leer o silo subes a un servidor sepa que esta trabajando con archivos html. Pero tiene que ir de la mano con --convert-links

Hasta ahora lo que mejor resulta es el -wait aunque la descarga es bien lenta

Saludos,

Rafael

Saludos,

Rafael

De pronto y el archivo que

Imagen de deathUser

De pronto y el archivo que demora 26 minutos te está dando timeout o es el que cuelga al puto IIS, trata con --timeout si es el caso, con todo mira los logs a ver que te dice el momento que aborta...

Suerte ...

bye
:)