Como o assunto tem relação com tratamento de grande quantidade de dados, banco de dados, dataframes...Pandas como o colega falou, vou dar minhas dicas pois recentemente precisei lidar com multiprocessamento de muitos dados...
Bibliotecas Python que usei:
• connectorx (feita em Rust): Ler dados do BD para dataframes numa velocidade incrível. Suporta varios bancos de dados e os formatos de saída Pandas, PyArrow, Modin, Dask e Polars
• pandarallel: Executar operações do Pandas em paralelo (mais rápido)
Minha dica final é, se puder, usar Polars (feita em Rust) no lugar de Pandas, pois tem melhor performance.