Wget paralelo en Bash



syntax error near unexpected token(' python (4)

Esta pregunta ya tiene una respuesta aquí:

Estoy recibiendo un montón de páginas relativamente pequeñas de un sitio web y me preguntaba si podría hacerlo de alguna manera en paralelo en Bash. Actualmente mi código se ve así, pero lleva un tiempo ejecutarlo (creo que lo que me está ralentizando es la latencia en la conexión).

for i in {1..42}
do
    wget "https://www.example.com/page$i.html"
done

He oído hablar de usar xargs, pero no sé nada de eso y la página de manual es muy confusa. ¿Algunas ideas? ¿Es posible hacerlo en paralelo? ¿Hay otra manera de atacar esto?



Agregar un ampersand a un comando lo hace funcionar en segundo plano

for i in {1..42}
do
    wget "https://www.example.com/page$i.html" &
done

Puede usar la opción -b :

wget -b "https://www.example.com/page$i.html"

Si no desea archivos de registro, agregue la opción -o /dev/null .

-o FILE  log messages to FILE.





wget