Sim, se você quiser pode construir a estilização que quiser do zero em Angular, porque qualquer framework permite isso (e mesmo se estiver fazendo em JS vanilla isso vai ser perfeitamente possível). A questão que levantei foi apenas em volta das libs de material de design pré-pronto.

A realidade da grande maioria dos projetos é que você vai querer acabar recorrendo a alguma fonte de componentes e estilizações base pra trabalhar em cima, porque estilizar tudo do zero é muito demorado e inviável de se fazer pra todo novo projeto. Isso acaba não sendo um problema pra empresas com muitos recursos de tempo e dinheiro, o que ainda não impede de que os times delas utilizem dessas libs pra ganhar agilidade.

Claro, não quero dizer que usar uma lib dessas exclui toda necessidade de se criar estilizações. Se não, daí todos apps ficariam com a mesma cara (o que na verdade acontece muito com apps React e Vue feito em porifólios, justamente porque a galera não quer ficar estilizando).