Boa, é boa a sensação de resolver nossos problemas e o dos outros com código não é ?
Mas aqui vai uma dica, não use selenium para isso a menos que seja realmente necessário, tente usar a combinação de libs como:
(requests + Bs4) ou (httpx + Bs4) até (aiohttp + Bs4) pode ser muito útil nesse trabalho.
Selenium é mais para testes automatizados onde existe a necessidade de se ter algo visual no browser, nesses caso de extração de dados webscraping, o mais recomendado é não ter selenium como dependência.
No mais parabéns pelo seu trabalho e que continue evoluindo.
A sensação é realmente incrível, ainda mais quando consegue afetar outras pessoas...
Que dica valioza, havia utilizado o Selenium por parecer ser mais popular, mas com certeza irei dar uma analisada nessas outras libs
obrigado pelo comentário!!!
na verdade dependendo do site pra carregar tem que ser lib de teste mesmo
Na verdade o ideal é sempre ir de libs que não utilizem driver de browser, se houver algum código que seja gerado por javascript, uma página com conteúdo dinâmico, aí entra a experiência do dev em analisar as requisições ver se não existe uma api que entrega esses dados que torna o trabalho ainda mais produtivo, caso dê pra replicar a lógica em python isso deve ser feito e em útimo caso, somente em último caso apelar para selenium ou playwright.