Não existe a possibilidade de fazer os dois? Tu pode ir trabalhando em teus próprios projetos e tentar ir criando uma fonte de renda. Ter uma formação fora da área dev pode te abrir várias oportunidades, pode criar aplicações voltadas para a física.
Eu passo por una cituação parecida, sou professor de História e nas horas vagas desenvolo aplicativos. Pra mim a experiência de ser professie ajudou muito para criar meus aplicativos, eu sábia do que os alunoa e professores precisavam.
Hoje meu rendimento como dev está quase ultrapassando o de professor. Talvez um dia pare de dar aula ou não, só sei que é muito bom ter 2 possibilidades, por isso aconselho a prosseguir com a faculdade de física.