Eu conhecia o processo com `wget` : ). Valeu por compartilhar essa ideia com os poderes do Pyhton.

Pensando no lado do desenvolvedor do site, uma maneira para lidar com os _crawlers_ é criar a página toda via Javascript, obtendo o conteúdo por websockets seguros (WSS). Tais elementos os _crawlers_ mais simples não conseguem interpretar para obter a página completa.

Obrigado pelo comentário, creio eu que com um pouco de esforço, de para fazer esse crawler burlar ecapturar conteudos dinamicos... Colocarei na lista hehe

Eu conhecia o processo com wget : ). Valeu por compartilhar essa ideia com os poderes do Pyhton. Pensando no lado do desenvolvedor do site, uma maneira para lidar com os crawlers é criar...