Tú fez usando js ???
Nuss, eu faria isso usando python com requests ou httpx.
Vou pegar esse desafio e tentar resolver usando python, farei menção a ti quando tiver terminado.
Em resposta a Crawler e Seus Desafios
1
2
Sim, fiz com TypeScript, que era parte do ecossistema da vaga. Já vi muitas pessoas dizendo que Python é melhor, mas como não tenho experiência com ele, nunca testei. Porém, faça aí que estou curioso para ver como vai ficar.