Ninguém nasce sabendo metamática, então não tem crise em ter dificuldade em alguns processos. O que eu posso dizer é que, quanto mais vc tenta e ajusta nas suas dificuldades, mais leve fica toda a manipulação de conceitos abstratos.
Eu também gostaria de sair daquela história de que matemática é fazer conta, e olhar pra área como um conjunto de ferramentas que nos permite trabalhar com conceitos mais abstratos, como funções, conjuntos e indução lógica. Menos "2+2" e mais "se P, então Q".
Todas as CPUs que coordenam nossos computadores, smartphones, e hoje estão dentro de carros e TVs, são implementações de um negocinho chamado "Máquina de Turing". O Alan Turing é aquele cara do filme "O Jogo da Imitação", que salvou o Ocidente da Segunda Guerra Mundial e foi condenado pelo governo por amar quem não podia. Hoje ele é super reconhecido como uma pessoa essencial pro mundo como ele é hoje, e divide um painel sensacional no Instituto de Computação da Unicamp com a Ada Lovelace (olha ali embaixo). A "máquina de Turing" é nada mais que um objeto matemático, derivado de um objeto mais simples conhecido como máquina de estados. Com a sua expriência, imagino que entenda que não precisamos saber de máquinas de estados para escrever um "Hello World!".
Mas, um ponto em que matemática é imprescindível na vida de um programador está na hora de entender que existem várias formas de resolver um problema, e que algumas formas demoram mais do que outras. Esse video do TED-Ed explica super bem como isso funciona, em que processos que demorariam dias podem ser reduzidos a poucas horas, e a vantagem aumenta quanto mais escalarmos os dados de entrada. Por exemplo, um algoritmo que considera todas as combinações de dois elementos da entrada vai demorar n2 operações, mas, se vc organizar direitinho, pode resolver o mesmo problema em n*log10(n) operações. Qual é mais rápido?
Esse tipo de análise também nos ajuda a saber se é até possível achar uma solução em tempo viável. Esse vídeo de 30min é uma super aula sobre algoritmos e um dos problemas do milênio conhecido como "P=NP?". Existe um prêmio de um milhão de dólares pra quem resolver esse problema matemático, mas vc consegue lucrar muito mais com as oportunidades que uma possível solução pode trazer.
Então, pra responder a sua pergunta, programação e matemática formam aquele casal que já está super seguro de si e se amplificam graciosamente. E, se vc tiver curiosidade pra ver essa relação de perto, sempre cabe mais um!