Acho que vc trouxe um bom ponto e concordo que os comentários devem ser fatorados nisso. Só não sei como isso deve ser feito, porque nem sempre um post com muitos comentários é, de fato, mais relevante. O Reddit tem uma opção de filtrar posts por "controversos" e outra por relevantes justamente por isso.
Aqui mesmo temos alguns posts com comentários rasos ou apenas para salvar o post, sem acrescentar nada. Evidentemente, muita gente querendo salvar um post é um indicativo que ele é relevante, mas nem todo post relevante desperta o desejo de guardá-lo para a eternidade (e.g. notícias).
Talvez nesse momento os comentários poderiam ser fatorados, mas com um peso menor e vamos experimentando.