Acho que ocorreu algum erro na hora de programar ai, o csv é bem pequeno pra ter dado algum problema de memória. Teria o script disponibilizado para darmos uma olhada?
Segundo ponto, python é usado pela facilidade, tu não vai abrir um jupyter com kernel de C e sair fazendo transformações, groupbys, joins, etc... Por que é simplesmente trabalhoso, para EDA é simplesmente muito bom e quando o volume aumenta o pessoal costuma usar spark.