Muito bom o teste, parabens! No meu artigo acabei esquecendo de colocar os blocos de código, mas a sua estrutura ficou bem parecida com a minha e curiosamente também utilizei dados de tráfego.
Em resposta a Otimização de Arquivos Grandes com Pandas
2
1
Tentei deixar o mais parecido possível com o seu caso para poder simular. Admito que levei um tempo para construir os dados.
Eu simulei com um conjunto menor de dados e já obtive resultados muito bons.