Executando verificação de segurança...
51

Como minha biblioteca chegou ao top trendings do GitHub

Olá pessoal, esse é meu primeiro post na plataforma e quero contar um breve relato de algo que foi gaming change para minha carreira.

Eu trabalho com automação web a uns bons anos. Desde sempre utilizei ferramentas como selenium, playwright, e até o puppeteer. Trabalhei com automações para redes sociais, e hoje trabalho em uma empresa que gerencia frotas de veículos em larga escala.

Durante minha jornada nesse novo trabalho, encontrei diversos desafios, como sites com sistemas anti-bots muito fortes. Foi aí que me veio a ideia de tentar algo realmente indetectável por sistemas de captcha comuns. Decidir chamar de PyDoll , um pouco inspirado no puppeteer, confesso haha.

Não vou entrar em detalhes da implementação, mas resolvi ir bem além de algo simples. Desenvolvi uma alternativa completa para selenium e similares, com um boost de funcionalidades a mais. Um dos grandes destaques é que, utilizando o PyDoll, conseguimos passar por captchas invisíveis como ReCAPTCHAv3 de maneira natural, e até captchas como cloudflare.

Foram 5 meses de desenvolvimento nas minhas horas livres, mas o resultado foi incrível. Bom, finalizei a biblioteca a cerca de 1 mês atrás, mas não tinha feito nenhuma divulgação. Bastou um simples post no reddit, que tudo mudou. O repositório chegou ao top 1 nos trendings do GitHub, e eu não poderia estar mais feliz! Faz apenas 1 dia, mas isso já me abriu diversas portas.

Queria deixar aqui esse relato para incentivar a comunidade brasileira a entrar no mundo do opensource. A comunidade é simplesmente incrível e já tenho recebido diversas colaborações no projeto. Quem tiver interesse em entrar nesse mundo, irei abrir umas issues mais simples.

Por último, deixo meu agradecimento ao r/brdev e a toda a comunidade brasileira que me apoiou nesse projeto, vocês são demais!

Carregando publicação patrocinada...
3

Parabéns, vi essa lib olhando as trend do github mas nem olhei que era um br, só olhei a boa organização de código e o minimalismo de depências dele. Só senti falta de uma documentação de uso mais completa, mas sei que ainda está no começo.

4
1

Parabéns amigo, acompanhei o desenvolvimento dessa sua lib e de fato é muito útil, não tive ainda muito tempo livre para contribuir com algo, mas deixei uma estrelinha lá e o fork para futuras contribuições.

1

Salve Thalisson!!

Parabéns pelo trabalho e obrigado pela grande contribuição para a área de automação!
Já estou testando os recursos para utilizar no meu próximo projeto.

Seria interessante assistir ou vídeo ou uma postagem sobre os detalhes da implementação.

1

eu nao sou muito bom com essas coisas haha. Mas vou preparar um material mais completo explicando cada detalhe da implementação, e facilitar pra contribuições, só preciso de um pouco de tempo livre

1

Bicho, raspar as páginas web virou uma parada insana. Chega a ser bonito de ver. Tem lib que faz dump da heap do browser para evitar detecção do scraping. Top demais haha.

0
0
0
-1

Usar o conhecimento para transpassar um Captcha, é isso mesmo ?

Eu nao enxergo com bons olhos isso e em uma seleção de pessoas, se eu visse que no currículo a pessoa teria trabalhado com isso, isso seria um ponto contra eu querer selecionar a pessoa.

5

Transpassar capchas é muito necessário e muitos ERPs principalmente da área contábil usam. Sites como JusBrasil , consulta de cnpj entre outros que provavelmente tu ja usou só são possíveis por que alguem conseguiu bypasses a verificação de bot. Ademais, alguem que consegue fazer isso é um profissional acima da média. Se tu não contrataria os teus concorrentes ficariam muito felizes por isso

1

Bom, tudo tem dois lados. E sobre acessibilidade? Eu por exemplo, como falei, trabalho em uma empresa que extrai orgãos públicos. Tentamos contato para solicitar API de maneira formal e pouquíssimos responderam. É um serviço que devia ser facilmente acessível. Imagine uma pessoa que tem mais de mil veículos para gerenciar, essa pessoa precisa realmente acessar os orgãos públicos todos os dias para verificar se tem alguma infração? Uma automação é essencial. Não temos serviços oficiais, nem APIs oficiais.

Vamos para mais um exemplo, WhatsApp. Sabemos que a API é paga, e nem toda empresa tem condições para pagar. Uma automação utilizando uma biblioteca é realmente ruim? Fica a dúvida.

Dessa forma, você também não contrataria um hacker ético, já que ele provavelmente já teve que lidar e bypassar captchas.

Tudo depende da intenção do usuário e saber utilizar de forma ética.

3

Ok, talvez eu tenha visto só o lado negativo.
Existe uma linha tênue entre utilidade ou ferramenta para usos errados.
Captcha existe para proteger sistemas.
Alguém sempre está pagando a conta, captcha ajuda a um serviço ficar no ar.
Sem captcha, robots, crawlers, etc, fazem abuso na API, gerando custos astronômicos.
É justo essa pessoa pagar esta conta ? Não.
Por outro lado entendo que você tentou o canal oficial e ele inexiste. Complicado.

1