wget
Wget é um utilitário que propicia o download de dados da web, seu nome deriva de World Wide Web e get, suporta os protocolos HTTP, HTTPS e FTP. Escrito em C, wget pode facilmente ser instalado em qualquer sistema Unix-like, se ele ainda não esta instalado, pra quem vai de Debian é só executar
$sudo apt-get install wget
Entre suas capacidades, se encontram:
- Download recursivo em FTP ou HTTP (pode inclusive ser usado para fazer um mirror de um website);
- Conversão de links para visualização offline de páginas HTML;
- Suporte a proxy;
- Robustez em relação a conexões instáveis (em caso de falha no download, ele automaticamente recomeça de onde terminou);
- Capacidade de ser executado sem intervenção do usuário, podendo ser usado com o nohup;
- Portabilidade;
- Suporte a IPv6;
- Suporte a SSL/TLS;
- Suporte a arquivos grandes (maiores que 2 GB); e
- Suporte a limite de velocidade para o download (com o objetivo de não interferir muito nos outros usos da conexão).
Alguns parâmetros:
“-r” Trabalha de forma recursiva, útil para baixar sites inteiros
“-t 0″ Executar infinitas tentativas de conexão, caso a conexão reset (0 = zero)
“-c” Continua um download, caso algum arquivo esteja pela metade
“-i <file>” Faz download dos links contidos no arquivo <file>
Alguns exemplos:
Baixando sites inteiros com autenticação
$wget -r http://<user>:<senha>@www.uol.com.br/
Baixando uma lista de links em um arquivo
$wget -t 0 -c -i links.txt
sucesso
