Achei o projeto show! Muito interessante mas tive uma dúvida:
Por fim, pode ajudar a evitar possíveis obstáculos, como ser bloqueado por um site devido à sobrecarga de solicitações de um único endereço IP.
Como Multithreading ajudaria nessa questão? Não consegui entender bem essa parte, na minha cabeça ainda seriam várias solicitações do mesmo IP e de forma bem rápida, só se caso tiver algum intervalo proposital entre as requisições, mas posso ter entendido errado.
Fale Kleisson tudo joia ? Fico feliz que tenha gostado meu caro.
Nada de intervalos, a idéia é carregar os dados em modo turbo ;) Ao invés de rodar um "bot" por vez rodamos multiplos ( neste caso de acordo com a quantidade de CPUs disponíveis ), com isso multiplicamos a capacidade do de scraping simuntâneos.
Para minimizar bloqueios de IP sim seria preciso utilizar um Floating IP ou algo para minimizar a sobrecarga de acessos mas o intuito aqui é apresentar um overview das técnicas.
Qualquer sugestão de melhori é muito bem vinda. Envia lá no GIT um PR. Será um prazer avaliar.
Tmj !!!