Eu acho que o futuro é esse, e a empresa chinesa responsável pelo DeepSeek mostrou que é possível. Servidores de alguns poucos milhares de reais poderão fazer todo o trabalho de um chat-gpt. Qualquer empresa ou indivíduo (classe média/média alta) poderá ter um servidor in-loco.
O problema é todo mundo varrendo a web, destruindo iniciativas free e open-source com a sobrecarga em seus servidores. Serviços gratuitos, que usam soluções baratas de hospedagem, começarão a receber contas mais altas e vão acabar fechando as portas.