Cara! Que solução!
Como analista de dados em uma empresa também com bases gigantescas comumente temos que nos virar com soluções assim.
Quase sempre vai surgir alguma adaptação de acordo com a necessidade do solicitante mas as vezes não tem muito o que fazer.
Como um colega já mencionou as vezes o uso de outras tecnologias pode ser favorável, como por exemplo o já citado Polars, eu fiz um post aqui compilando as diferenças e usos do pandas X polars fique a vontade para conferir!
Também aproveitando a oportunidade gostaria se puder, como profissional da mesma área, que visse e talvez um possivel feedback do meu Portfólio, grato desde já!
Parabéns pela solução novamente, vale algumas tabcoins ahah