Ja me ocorreu também. Acho q uma boa solução seria se, para dar upvote ou downvote fosse obrigatorio incluir uma resposta, e que ficasse publico o voto da pessoa. Por assim a pessoa teria q ter argumento para dar like ou deslike.