Sim, das vezes que eu fiz, utilizei o selenium, mas acredito que já exista outros frameworks para isso também...

Vi que o pessoal usa muito Selenium para automação de testes, não é?

Exato, mas funciona para webscraping também...o maior problema, na minha opinião, é que eu achei ele meio lento, mas pra mim funcionou para o que eu queria na época (era um projetinho para pegar dados publicos da bolsa de valores)