Mano, meu caso é um pouco parecido com o seu.

Sou físico e quase matemático (vou terminar esse ano), e durante a faculdade eu tive uma oportunidade de continuar na área de física de materiais (BR) (já que eu já tinha feito IC nisso), e também tive oportunidade com uma professora russa que tava arranjando esquema pra eu ir estudar em Moscou física matemática como mestrando.

Atualmente, quero ingressar na área de TI sendo um físico, logo, o meu caso é o seu caso "inverso" haha.

Na faculdade conheci vários físicos (e até geofísicos) que curtiam muito a área de astrofísica, e até hoje tenho contato com alguns.
E o que tenho a dizer pra você são 2 coisas:
1- Gostar de astrofísica porque você acompanha o pessoal da área e as notícias é uma coisa, estudar e trabalhar com isso é outra.
Digo isso porque gostava de astrofísica, mas após fazer as matérias de astronomia e astrofísica, a história mudou um pouco kkkk.
2- Dá pra ter as 2 profissões sim, só que quase certeza que você vai ser um pato e não vai conseguir ir longe.

Primeiro que o campo de astrofísica não é tão bom no BR (caso queira ficar por aqui, o que acho pouco provável).

Além disso, você tá pensando em ingressar na área partindo de graduação em física, e dessa forma, você teria de fazer no mínimo um mestrado (e quase certeza que um doutorado, porque físicos e matemáticos são realmente levados a serio quando são doutores) pra depois entrar em alguma empresa e atuar na área.

De resumo, a graduação em física nem é tão difícil assim (pelo menos eu não achei), vai começar a ficar difícil no final, quando pega matérias como mec quantica 2 e relatividade geral (dois campos indispensáveis para astrofísicos).

E segundo, você vai se deparar com um grande problema: As oportunidades de trabalhar com isso não são grandes, mesmo fora do BR.

Em resumo: É uma área fabulosa, que vem crescendo as pesquisas e aumentando as oportunidades de trabalho, e que é lotado de gente inteligente e apaixonada pelo que faz. Entretanto, em algumas áreas, uma boa parte dos profissionais são professores e pesquisadores, e estes não pensam em se "aposentar", muito pelo contrário. Dessa forma, as oportunidades acabam se limitando, fazendo com que a porta de entrada fique muito difícil, mas não impossível.

Não querendo te desanimar, mas o fato de você querer ter 2 profissões fará com que fique facilmente pra trás dos outros, e vai ser muito fácil você se frustar por causa disso.

Sem contar que você está querendo 2 áreas "borda de ciência", em que a todo instante saem tecnologias e informaçãos novas, ficando humanamente impossível acompanhar tudo.
Não que os astrofísicos consigam acompanhar tudo, mas normalmente o pessoal não para de estudar e nem de aprender por nada (diferentemente de um professor de física que pode acompanhar as informações por hobbie)

Como disse, é uma área lotada de gente muito inteligente, estudiosa e esforçada, que normalmente sabem muita física, matemática, química, geologia, programação e, obviamente, astronomia e astrofísica. (Apesar que tem um pessoal não tão crânio assim, então não precisa ficar com tanto medo de ingressar haha)

Pode ser que você se enquadre nesse perfil? Não sei, isso aí é com você.
Acho que pode conseguir? Sim. Vai ser fácil? Não!

O que eu acho que você pode tentar fazer é entrar nessa área sendo um engenheiro de softwares enquanto estuda astrofísica paralelamente (sendo graduação, pós, mestrado ou até mesmo sozinho...), por meio de especializações dentro da engenharia de softwares (melhorar softwares, a renderização das imagens, captação dos telescópios...)
(A área de exploração do universo por meio de novas tecnologias tá crescendo demais! Só lembrar do Nobel do pessoal da radiação cósmica de fundo e também do James Webb)

Bem, desejo uma boa sorte e bons estudos! Acredite, você precisará dois 2 (Além de um QI, se é que me entende hehe).

Se você conseguir, eu acredito que será bem feliz com sua vida e ficará encantando com sua história (pode até criar uma comunidade em alguma rede social e explicar várias coisas sobre astrofísica e softwares), mas pode ter certeza que terá muita ralação no caminho, e pouco tempo para as outras coisas, como amigos e família.

Por fim, veja também se você realmente quer ser um astrofísico de profissão ou se simplesmente gosta da área como um hobbie, já você também pode se sentir realizado sendo um "astrofísico sem diploma", que é alguém apaixonado pelo universo (o que é meu caso).

Não sei se te inspirei ou te "broxei", mas espero ter de ajudado.
Qualquer coisa só falar aqui :D