Bom dia, meu amigo. Eu tenho uma publicação no Medium de um projeto que fiz, em que parte dele era fazer scraping do Google Shopping. Espero que possa te ajudar de alguma forma.
Segue o link: https://medium.com/@bentofh/web-scraping-google-shopping-f820604da004
Muito show sua publicação e você possui uma excelente didática. A questão seria mais na forma de atualizar os dados (obviamente não queremos excluir e buscar tudo novamente em uma cron que execute por exemplo de 2 em 2 dias, apenas aquilo que realmente foi atualizado, porém não sei até que ponto é possível), você chegou a fazer algo sobre?
Sim! As buscam aconteciam todo dia, mas eu tinha outro processo de um banco de dados que buscava o arquivo com os preços do dia, e usando SQL eu validava quais linhas tinham se mantido, quais foram alteradas e quais eram novas (via hash). Dai eu construia uma tabela historico, que me indicava data início e data fim de todo registro pra que eu conseguisse navegar pelo histórico do preço daquele produto.