vou te passar minha experiência (que ainda é pouca, mas seu depoimento me pegou pelo lance da idade).
entrei na área de programação com 33 anos, trabalhei a vida toda na parte de infra/suporte/helpdesk e só posso dizer que foi a melhor coisa que fiz, mudou completamente minha qualidade de vida (pra melhor!).
vai bater a insegurança? pra caralho!
vai bater o desespero? muito!
no meu caso ajudou muito minha liderança técnica e minha equipe, todos se ajudavam muito e prosperavam juntos, torcendo um pelo outro.
muitas vezes você vai achar que tem que 'recuperar o tempo perdido', querendo estudar mil coisas ao mesmo tempo, mas o que posso dizer é que procure focar, no meu caso a stack era microsoft (.net core, framework, sql server, etc), então direcionei todo meu esforço pra isso e obtive bons resultados, consegui evoluir rapidamente e entregar cada vez mais e melhor.
é preciso coragem, mas se você quiser, conseguirá, no fim das contas o que posso te dizer com toda a certeza é que valerá a pena no final!