Uma boa analogia seria um casa pré-fabricada e um casa construída em cima de um rochedo, na beira da praia por um arquiteto. A casa pré-fabricada seria o framework e a casa do rochedo seria você fazer do zero.
A vantagem da casa pré-fabricada é que é fácil de construir, você só precisa montar tudo, não precisa chamar arquitetos, engenheiros, pois todo o trabalho já foi realizado, assim como em um framework.
Construir uma casa do zero seria como reinventar uma roda, pois você não quer nada especial, quer um casa com dois quartos, que seja barata e rápida de construir.
Agora se você quer construir uma casa em um rochedo na beira da praia, a casa pré fabricada não vai servir, pois ela foi feita considerando um terreno plano, sem muito vento. Como os requisitos são únicos, você precisa que um engenheiro e um arquiteto projetem essa casa do zero.
Um exemplo seria um site em que o design é importante. Um site que apresente uma marca de jóias, objetos de design ou carros esportivos não pode ser um site arroz com feijão, como um site criado usando Bootstrap. Ou então se você quer fazer um jogo que rode no browser, o framework não vai te conseguir ajudar muito a estilizar esse jogo.
Dito isso, contratar um arquiteto para projetar uma casa comum seria um desperdício de tempo e dinheiro, pois uma casa pré-fabricada traria o mesmo resultado com menos tempo e menos dinheiro. O mesmo vale para tentar colocar uma casa pré-fabricada em um terreno para qual a casa não foi planejada ou se você quer se destacar da multidão.