Como disse que pode ser qualquer linguagem vou dar a dica de usar Node, que é a que tenho experiencia, inclusive em problemas parecidos, usando NodeJs Streams, aqui tem um tutorial básico de por onde começar:https://www.youtube.com/watch?v=O37n35XUxj0, caso queira algo em ptBr tem os videos do Erick Wendell: https://www.youtube.com/watch?v=rcQgqerZ48E&list=PLNCllnjAH50ziJVC-CJg_UrJcZ72jRTVl