Geralmente os downvotes e upvotes refletem bem a qualidade do post ou resposta. Não acho que deveria mudar.

Há comentários aqui muito ácidos/agressivos, e o downvote expoe isso, confortando o autor do post.
E há comentários excelentes, acima da média, e a grande quantidade de upvotes reflete bem isso... ou seja, a ferramenta está sendo muito bem usada pela comunidade.

Concordo com o @Victor2752, se os downvotes, que são protestos totalmente pacíficos, não passarem a refletir o descontentamento de quem vota, mais dia menos dia essas pessoas vão passar a expressar seu descontentamento através de comentários agressivos. E para isso já temos o twitter, o maior exemplo de comunidade tóxica hoje.