Eu usei C# com .net 8, usando a biblioteca html agility pack. Funciona muito bem, mas apesar disso, você precisa saber o de está seu gargalo, se é no seu algoritmo, na rede ou na máquina que você usa