Não vejo grandes problemas em usar em tudo, mas realmente há casos que o flexbox é usar um canhão para matar uma mosca, pode deixar o entendimento do css complicado. Mas é uma das melhores ferramentas que existem para estruturar seu site. Também recomendo você conhecer CSS Grid