Show mano, muito obrigado pelas dicas gpoleszuk. Como você mencionou acima tem umas coisinhas que preciso colocar na .gitignore kkkk. Mas gostei muito das ideias que você colocou, estava pensando também em usar POO neste projeto ou pelo menos fazer funções separadas para deixar o codigo mais clean. Você teria alguma dica para como eu posso implementar isso?
Bunny, para explorar o máximo do POO (Programação Orientada a Objeto) em um projeto eu acho que é preciso primeiro criar uma modelagem do software que deseja construir, caso não a tenha. Lembro-me disso ao ler determinados códigos fonte, procurando entender o emaranhado de código que o programador criou. Certos códigos me supreeendem pela quantidade de funções/procedimentos atômicos. No meu caso, sinto falta ver um diagrama de fluxos (flowchart) para ter uma visão geral.
Encontrei alguns livros neste repositório free-educa, contudo, acho que nenhum traz no título o termo modelagem de software.
Entendo, ainda assim muito obrigado pelos insights e dicas. A proposito dei uma olhada no posto do sossego, e penso que talvez seja interessante para ele implementar o Beautifulsoup no projeto. Nos meus projetos de Web Scraping tem sido uma mão na roda e acredito que o auxiliará muito neste caso. Mais uma vez obrigado pela ajuda!