Estive na mesma situação de desenvolvimento, já fiz ambos. Se você não vai trabalhar sozinho, usar um framework ajuda muito na velocidade e qualidade da entrega, então sugiro sim selecionar um.

Se seu projeto for somente contigo e tenha um escopo bem definido, usar algo escrito por ti fará sentido.

Gostaria de acrescentar que usar um framework não significa necessariamente usar TODO ele. Você pode usar somente partes do framework de maneira modular. Isso é algo bom se você se preocupa com o tamanho do arquivo e a velocidade de carregamento (assim como eu). No mais, existem diversas opções além do Bootstrap, e acho que vale a pena dar uma pesquisada e olhada neles.

Boa sorte com teu projeto.