Tenho uma ideia de projeto onde seria nescessário pegar informações públicas de outros sites, que não fornecem diretamente através de uma api.
Por exemplo, quero pegar todos os produtos do mercado livre onde tenha categoria X. Seria possível?
E depois de obter essas informações, como vocês trabalhariam com a atualização desses dados?
Agradeço!!
Bom dia, meu amigo. Eu tenho uma publicação no Medium de um projeto que fiz, em que parte dele era fazer scraping do Google Shopping. Espero que possa te ajudar de alguma forma.
Segue o link: https://medium.com/@bentofh/web-scraping-google-shopping-f820604da004
Muito show sua publicação e você possui uma excelente didática. A questão seria mais na forma de atualizar os dados (obviamente não queremos excluir e buscar tudo novamente em uma cron que execute por exemplo de 2 em 2 dias, apenas aquilo que realmente foi atualizado, porém não sei até que ponto é possível), você chegou a fazer algo sobre?
Sim! As buscam aconteciam todo dia, mas eu tinha outro processo de um banco de dados que buscava o arquivo com os preços do dia, e usando SQL eu validava quais linhas tinham se mantido, quais foram alteradas e quais eram novas (via hash). Dai eu construia uma tabela historico, que me indicava data início e data fim de todo registro pra que eu conseguisse navegar pelo histórico do preço daquele produto.
Olá amigo, tarde!
Tem o PlayRight ele não é bem para essa finalidade de webscraping mas faz bem esse papel, gosto dele por ser fácil de gerênciar os navegadores e pela documentação bem detalhada.
Tem uma live do Dunossauro mostrando o funcionamento no python.
https://www.youtube.com/live/Br0cJo2YeNg?si=Zb59KpZoS3FtH5Pj