Eu acredito que ter muitas classes no html dificulta sim a legibilidade, assim como ter um arquivo com muitas linhas ou com muitos comentários, etc.
A questão fundamental que se deve pensar é no que você está disposto a "perder". Toda escolha é uma renúncia e na programação isso é muito verdade.
Um Bootstrap da vida agiliza a prototipação do projeto, mas deixa o código feio haha. Uma outra vantagem de frameworks é a consistência de estilos, tudo funciona bem em conjunto e de quebra desperta certa familiaridade de uso para a pessoa usuária do produto.
Enfim: não existe solução perfeita, infelizmente.