Um exemplo que ficou bem didático, para casos de agregação e contagem realmente não precisa todas linhas. Porém quando a linha em si é relevante inidividualmente,realmente pensar em formato parquet.
Em resposta a Otimização de Arquivos Grandes com Pandas
1