Acreito que a utilização do CSV no arquivo de saida é para fazer a entrega para o cliente, confirme comentado no post inicial!
Ja o csv do arquivo de entrada é que foi extraido do DB como CSV.
Mas concordo totalmente se a ideia é salvar em parquet quando for reutilizar
Respondendo a "Existem algumas alternativas para otimizar a qu..." dentro da publicação Otimização de Arquivos Grandes com Pandas
1