Use a tecnologia adequada para cada problema. milhões de linhas de logs? ElasticSearch.

Eu sou como você e adoro criar as coisas por conta. Isso é ótimo para aumentar a destreza para solucionar problemas. Nunca devemos perder isso.

Mas neste caso específico, se quer uma solução duradoura e escalável, renda-se ao poder do Elastic Search. Eu atingi um teto recentemente com uma solução "caseira" e não me arrependi de gastar dois dias estudando e colocando em produção uma abordagem de mercado.