A Matemática é importante sim, mas não é preciso ter muito conhecimento de matemática para programar, acredito que o necessário é saber somar, subtrair, multiplificar e dividir. Em alguns casos vai ser necessário ter uma bagagem matemática para construir uma nova tecnologia ou modificá-la, por exemplo em programas 3D ou de simulação de eventos de natureza física.

Quanto a parte de ter dificuldades em conteúdos que já passou é comum, não só para quem estuda matemática, mas para qualquer área, vai haver momentos que voltar para os fundamentos (revisar o que já foi visto) vai ser necessário. Na programação isso acontece o tempo todo, por exemplo: "Como criar enum em Java?", "Qual biblioteca para manipular data eu uso em JS?", "Como escrever e ler arquivos em python?". São dúvidas que acontecem quando você fica um tempo sem praticar, mesmo já tendo estudado sobre ou utilizado. Quando tiver essa dificuldade, busca revisar os fundamentos do assunto em questão. Espero ter ajudado!