Pois eh, eu gosto da ideia de punir de alguma forma os downvoted, mas talves bloquear totalmente seja uma punicao muito severa.
Ja tive dificuldades com o Stackoverflow tbm, mas acho que com bons moderadores, seria possivel fazer um controle melhor e ajudar aqueles que foram downvoted por engano.