Da hora de mais! Usar o Apache Spark como solução de engine de dados em memória ajuda muito a escalar o processamento, de forma barata. Gosto bastante hehe.
Respondendo a "Excelente trabalho teomewhy! As ferramentas par..." dentro da publicação TabNewsLake - Um Datalake para nossas News
1