20 de abr. de 2012

Wget - Pequena Grande Ferramenta para Linux, Windows e MacOS* (Baixando sites INTEIROS!!)

Game Genie, pra quem não conhece, são códigos que podem mudar os valores dos endereçamentos de memória de uma ROM para habilitar ou modificar opções que não estão disponíveis por default, possibilitando ter vida infinita, começar um jogo com todos os itens ativados, modificar itens, etc.

Meu problema:
Ontem, emulando Snes no PSP com o emulador Snes9x, percebi a opção de adicionar códigos de Game Genie pelo próprio emulador. Existem diversos sites especializados em consoles, roms e emuladores que disponibilizam os códigos para infinitas ROMs para vários consoles. Como não achei viável ter que acessar a net sempre que quisesse um código específico para o game que estivesse jogando, pensei que poderia encontrar na net algum pacote de códigos Game Genie pronto pra download. Mas não encontrei.


A solução:
Lembrei-me, então, do Wget. Durante muito tempo, utilizei o Wget como gerenciador de downloads e não raro, diversos tutoriais e scripts utilizam-no como parte do processo caso seja necessário fazer downloads de atualizações e dependências via linha de comando.

Explorando o Wget, aprendi que o este aplicativo não só gerencia downloads, mas utilizado-o com os parâmetros corretos também pode automatizar o processo de download  somente de arquivos específicos, bem como baixar um site inteiro! Ou seja, basta executá-lo como um simples comando com os parâmetros corretos para se ter a galeria de wallpapers completa daquele site especializado em imagens sem ter que salva-las uma-a-uma, ou ainda blogs inteiros para poder ler seus conteúdos offline!

Além de tudo, o Wget é muito simples de utilizar.
Por exemplo, com o simples comando abaixo pode-se baixar um site inteiro:


Ele irá criar um diretório com o nome do site, e salvar todos os itens do site em seu disco!

Alguns sites utilizam o arquivo "robots.txt" utilizados pelos buscadores e que tentam impedir que o conteúdo principal do site, que as vezes é exatamente o que lhe interessa, seja baixado por algum processo automático. Mas nosso amigo Wget sabe disso, e com o parâmetro correto, você conseguirá proceder com a automatização do download do conteúdo desejado:


Outros parâmetros úteis do Wget (básico)
Continua um download interrompido:


Baixa apenas o tipo de arquivo que interessa no site:
(".php", ".asp", bem como algumas outras extensões são convertidas para ".html" pelo próprio Wget, ou seja, ele não deixa escapar nada!)


Baixa todos os formatos de imagem em jpg, gif e png:


Baixa o conteúdo protegido por login e senha:


Limita a velocidade do download (ex: 100k):


Acima, informei apenas alguns comandos que poderiam ser os mais utilizados no processo de automatizar seus downloads. Uma rápida busca na net, ou pesquisando o manual do Wget você encontrará Muitos outros parâmetros de utilização deste excelente aplicativo.

Meu resultado:
Encontrei um bom site com alguns milhares de códigos de Game Genie não só para Snes, mas também para GameBoy, Mega Drive, e Nes que, graças ao Wget, fazem parte do meu acervo! :)

Você poderá encontrar este aplicativo pra Windows no link abaixo:

(*) No link abaixo, veja o procedimento para executar o Wget no MacOS:

8 comentários:

  1. olá sedan

    e se eu quiser usar o wget para baixarum conteudo neste estilo
    gosto de mangás, mas acho um porre ter de ler online (prefiro baixar e ler quando dá vontade)

    existe uma forma de eu baixar todas as imagens de todos os capitulos disponiveis ?

    se sim poderia me informar ?
    use este link como exemplo se quiser http://www.animes.adv.br/mangas/Unbalancex2

    ResponderExcluir
    Respostas
    1. Olá, Henrique!

      Pelo o que vi, acho que é possível sim. Mas observe que o url que realmente contem as imagens dos capítulos é:
      http://animesadvanced.smugmug.com
      mais precisamente:
      http://animesadvanced.smugmug.com/Other/empty-2963

      Mas neste caso, penso que seja muito mais prático "abrir todas as páginas de uma vez" no painel do site, dar um Ctrl+P e salvar em PDF, não é?

      Assim você teria todas as imagens de todo o capítulo num único arquivo, em vez de imagens avulsas.

      Fica a dica.

      Excluir
  2. olá eu gostei muito do tutorial porem estou com dificuldades neste site
    http://btstore.bibotalk.com.br/
    tentei baixar os arquivos rar, pdf, doc mais não tive sucesso pode me ajudar

    ResponderExcluir
  3. Olá, gostaria de saber como baixar arquivos que não possuem link direto, tipo "http://translate.google.com.br/translate_tts?ie=UTF-8&q=TESTE&tl=pt&prev=input"... Neste tipo de link geralmente dá erro!

    ResponderExcluir
    Respostas
    1. ola.
      ta dando erro, pq não é o link original.
      vc está redirecionando do google tradutor.
      faça o procedimento a partir do link original.
      boa sorte.

      Excluir
    2. Amigo, Sedan75, o link é original, só citei o Google Tradutor como exemplo, mas a maioria dos links desse tipo (que possuem vários "&" e sinais de "=") não funcionam pelo wget. Normalmente, links deste tipo não terminam com uma extensão, tipo ".htm", ".jpg", "php". Gostaria de saber se é necessário usar algum comando para baixar arquivos assim. Voltando ao meu exemplo, cole este link http://translate.google.com.br/translate_tts?ie=UTF-8&q=Estou%20com%0dúvidas%20me%20ajude&tl=pt&prev=input e veja que o mesmo não se altera e será aberto um player com áudio. No entanto, se eu coloco este mesmo URL no wget ele diz que está incorreto... Tem algo a ver com cookies? Ficarei muito grato se souberem me explicar!

      Excluir
    3. Olá, Nildo.

      Veja bem, neste caso específico, o link é simplesmente:
      http://translate.google.com.br/

      o resto:
      translate_tts?ie=UTF-8&q=Estou%20com%0dúvidas%20me%20ajude&tl=pt&prev=input
      é um comando enviado ao servidor, que devolve o audo "estou com dúvidas, me ajude". Não dá, por exemplo, pra salvar um streaming desta frase em disco, exceto de você utilizar um programa de gravação para gravar o audio.

      Se você substituir o "Estou%20com%0duvidas%20me%20ajude" por qualquer outra frase, como por exemplo "visite%20meu%20site%20rótplug%20dicas", que o processo será o mesmo, um comando será enviado para o servidor que retornará a frase em audio.

      Se você mudar a opção lá =pt& para =ru& ou =es% você receberá a frase com sotaque russo, e espanhol respectivamente.

      Resumindo, não é um arquivo stream, e sim um comando que retorna um audio. Não é possível capturá-lo, exceto com algum programa específico para isso.

      Abs.

      Excluir
    4. Humm! Agora entendo! Valeu, amigo!

      Excluir