Eu conhecia o processo com wget : ). Valeu por compartilhar essa ideia com os poderes do Pyhton.

Pensando no lado do desenvolvedor do site, uma maneira para lidar com os crawlers é criar a página toda via Javascript, obtendo o conteúdo por websockets seguros (WSS). Tais elementos os crawlers mais simples não conseguem interpretar para obter a página completa.