acho que a maneira mais simples de estarmos blindados desses votos seria tê-los em quantidade desprezível em comparação com os demais votos
Concordo. O que deveria contar no fim é o saldo final dos votos. Idealmente, um eventual negativo "errado" seria compensado por vários positivos (o oposto também vale, um positivo indevido em conteúdo claramente ruim pode ser corrigido por vários negativos).
Afinal, se a ideia é que a comunidade avalie o conteúdo, o que deve valer é o resultado final de todos os votos dados. Se não for assim, não tem porque votarmos.
Também concordo que não deveria ter regras diferentes para cada tipo de voto, senão fica desbalanceado. Por exemplo, tem gente sugerindo que deve ser obrigatório comentar para negativar, isso faz com que dar o positivo seja muito mais fácil. Pode até diminuir a trollagem, mas também vai dificultar os negativos legítimos.
Dito isso, acho que temos que parar um pouco com essa ideia de que votos negativos são sempre "do mal". Se fosse assim, o recurso nem deveria existir. Claro que o fato dele existir dá margem para certa trollagem, mas os próprios controles do site servem para inibir este comportamento (é apenas questão de ajustes, a meu ver).
Como eu já disse em outro post (que infelizmente foi apagado), o que dá pra fazer é definir melhor as regras e orientações para que as pessoas saibam como votar. Mas não dá para evitar a subjetividade, ela sempre vai existir e por isso sempre alguém vai achar que um voto legítimo foi "injusto" (e vice-versa).
Curioso também que ninguém reclama de positivos "errados" (por exemplo, post com informações erradas, mas foi votado só porque o texto estava bem escrito e parecia correto). Esses, na minha opinião, são até piores, justamente porque desensinam e propagam mitos e vícios que são difíceis de desfazer depois. Mas divago...