Muito show sua publicação e você possui uma excelente didática. A questão seria mais na forma de atualizar os dados (obviamente não queremos excluir e buscar tudo novamente em uma cron que execute por exemplo de 2 em 2 dias, apenas aquilo que realmente foi atualizado, porém não sei até que ponto é possível), você chegou a fazer algo sobre?
Respondendo a "Bom dia, meu amigo. Eu tenho uma publicação no..." dentro da publicação Duvidas sobre webscrapping
1
1
Sim! As buscam aconteciam todo dia, mas eu tinha outro processo de um banco de dados que buscava o arquivo com os preços do dia, e usando SQL eu validava quais linhas tinham se mantido, quais foram alteradas e quais eram novas (via hash). Dai eu construia uma tabela historico, que me indicava data início e data fim de todo registro pra que eu conseguisse navegar pelo histórico do preço daquele produto.