Nossa! Depois eu vou testar um caso usando parquet, mas eu vou criar um ambiente separado para ver como fica a leitura e a escrita desses tipos de arquivo.
Respondendo a "Existem algumas alternativas para otimizar a qu..." dentro da publicação Otimização de Arquivos Grandes com Pandas
1