Show de bola! Acho que precisamos de mais search engines independentes e nos livrar do oligopólio.

Sobre opções para fazer um crawler, sinto que preciso dizer que qualquer linguagem serve! Sério, qualquer linguagem que permita que você faça uma request http e que você consiga fazer o parsing do conteúdo, serve. Mas o ponto principal é que nem todas são ideais, todas servem, mas não necessariamente devem ser utilizadas.

Uma search engine precisa, em média, mais de 2TB de dados (uma pesquisa que fiz a um bom tempo atrás, não consigo afirmar com certeza) para conseguir servir buscas decentemente. E isso é só o começo, você vai precisar muito mais do que isso e manter todo esse índice atualizado. Logo, ou você tem um processo muito otimizado e rápido, ou você vai gastar dinheiro em compute e tempo.

Então, voltando as ferramentas, recomendo escolher uma linguagem baseada nessas nescessidades, até por que nenhuma tem uma biblioteca "Google" já pronta pra você. Minha opinião: descarte Selenium imediatamente, gasta muito recursos e não vale a pena, escolha Rust/Go ou qualquer linguagem minimamente rápida (infelizmente python não é) para o desenvolvimento.

Isso é só minha visão, então estude e veja o posicionamento dos outros para ver possíveis caminhos. Espero que tenha ajudado.

PS: para evitar ser barrado como bot sei que a Cloudflare tem uma página sobre como se inserir no programa de search engines e ter um "passo livre" fazendo web crawls.