[DÚVIDA] Quais são os métodos de Webscraping mais conhecidos? E qual mais eficaz, na sua opnião?
Recentemente iniciei um projeto pessoal pra coletar e organizar dados de um site de documentos, onde tem dados publicos relacionados a relatórios gerenciais voltados pra atividades financeiras.
Mesmo com pouco conhecimento, iniciei o projeto com NodeJs, utilizando o Puppeteer pra fazer a navegação na página e automação na coleta dos dados.
Pro propósito inicial, funcionou bem tranquilo, mas não sei se foi feito da melhor forma.
Sou desenvolvedor mobile (Flutter/Dart majoritariamente, um pouco de Kotlin e arranhando no Swift), mas já passeei um pouco por Asp.NET Core, Java com SpringBoot e já fui desenvolvedor COBOL por um bom tempo 🦖 (por quase 6 anos, mas só tenho 31).
Há um tempo (bastante tempo), trabalhei com testes automatizados, utilizando Java com Selenium, o que também seria uma opção, mas também não sei se a mais adequada.
Mesmo com a curva de aprendizado do NodeJs sendo baixa e me ajudando a iniciar o projeto, gostaria de saber a opnião da galera:
Vocês conhecem alguma linguagem/framework que facilitaria nessa tarefa específica de Webscrapping?
Sabemos que não existe "bala de prata", mas também sabemos que pra atividades específicas, certas linguagens apresentam melhor performance.