Seu pensamento é valido, concordo que programadores precisam ter a mente aberta para entender como funciona o hardware por trás de tudo, mas acho que não precisam ser especialistas nisso. Afinal, essa não é a função do programador.

E queria abrir sua mente quando você diz que a nuvem é mais barata.

Por exemplo, tenho uma infraestrutura na AWS que custa aproximadamente 110 dolares por mês, contemplando 4 nucleos, 16gb de ram, mais de 200gb de storage, dns gerenciado (route 53), algumas dezenas de gigas de S3.

Para montar um hardware equivalente, com um link dedicado (pensando em uptime > 99.999%), ssds em raid1, nobreaks, etc, custa MUITO caro.

A substituição de bateria de um nobreak simples (do tipo que NÃO* deveria ser usado em datacenter) custa em torno de 450 reais, e todo ano precisa trocar.

Para se ter um servidor que não pare nunca, você precisa de nobreaks redundantes. então multiplica esse custo por dois.

A maquina em si, deve estar num rack (que custa caro), em um servidor 1 ou 2u, que possuem fontes redundantes, hot swap de ssd.

Você precisa comprar o ssd em dobro para raid1, porém deve comprar discos reservas para fazer o hotswap se (quando) um parar.

Existe a segurança FISICA do ambiente do servidor. data centers possuem sistema anti incêndio, acesso físico controlado, geradores, etc.

Isso tudo torna difícil comparar a nuvem com uma estrutura local, PRINCIPALMENTE em pequena escala.