O jeito mais fácil de construir um Crawler para Web Scraping de Dados
Lançado faz poucos dias, o Crawlee é uma biblioteca para você construir crawlers que são geralmente utilizados para fazer web scraping de dados e automações simulando um navegador real.
Uma das características de usar esta ferramenta é que por padrão os seus crawlers irão parecer humanos acessando os sites, simulando todos os cabeçalhos de um navegador padrão, incluindo os fingerprints (micro características "quase" que únicas de cada usuário). Fora isso, é disponibilizado de forma integrada rotação de IPs por proxy e gerenciamento de sessão.
O Crawlee é uma ferramenta grátis, open source e construída utilizando Node.js.
- Projeto no GitHub: https://github.com/apify/crawlee
- Site oficial: https://crawlee.dev/