Cada vez mais, o mercado está precisando de profissionais multidisciplinares. Então, caso você consiga concluir o curso de física, muitas portas abrirão em projetos que intersectam os dois mundos, programação e física.

Sobre a questão de migrar para um curso de TI (não sei se isso já passou pela sua cabeça), na minha opinião, eu acho que seria um caminho mais longo e pouco necessário. Atualmente no Brasil, muitas empresas não querem saber se vc é formado na área de TI ou não, apenas querem alguém que resolva seus problemas. E para os casos de empresas brasileiras ou estrangeiras que requerem formação na área, eu sugiro uma pós graduação na área de TI depois que vc concluir a de física. Enfim, essa minha opinião sem muito contexto de seu dia-a-dia e suas dificuldades.

De qualquer forma, te desejo prosperidade na sua escolha.