Sim! As buscam aconteciam todo dia, mas eu tinha outro processo de um banco de dados que buscava o arquivo com os preços do dia, e usando SQL eu validava quais linhas tinham se mantido, quais foram alteradas e quais eram novas (via hash). Dai eu construia uma tabela historico, que me indicava data início e data fim de todo registro pra que eu conseguisse navegar pelo histórico do preço daquele produto.
Respondendo a "Muito show sua publicação e você possui uma exc..." dentro da publicação Duvidas sobre webscrapping
1