Tentei deixar o mais parecido possível com o seu caso para poder simular. Admito que levei um tempo para construir os dados.
Eu simulei com um conjunto menor de dados e já obtive resultados muito bons.
Respondendo a "Muito bom o teste, parabens! No meu artigo acab..." dentro da publicação Otimização de Arquivos Grandes com Pandas
1