Praticamente em todos os sites que possuem esse sistema de votação o conteúdo é o que menos importa para a utilização destes botões, só ver em sites como Stack Overflow por exemplo, perguntas/respostas altamente agregadoras que recebem downvote absolutamente por birra ou má vontade de outros usuários, falta de conhecimento sobre o assunto, etc...

Minha sugestão: Todo downvote teria que abrir uma caixinha de texto pro usuário exigindo a inserção de uma justificativa do pq do voto negativo e uma possível sugestão de como a pergunta/resposta pode ser melhorada. Garanto que os downvotes em sites espalhados aí pela internet iriam cair substâncialmente!