Eae Danilo. Em um dos vídeos do Fabio Akita, ele comenta sobre isso:

precisa saber matemática pra ser programador? E a resposta é não. Pra fazer coisa simples, sabendo matemática básica de regra de três e porcentagem, dá pra ir se virando. No dia a dia de software pequeno, se souber pelo menos usar uma calculadora, já funciona. Agora, sem saber Álgebra Linear, Cálculo, Estatística e Probabilidade, você nunca vai trabalhar em projetos como esse do Twitter, é uma impossibilidade. Matemática é opcional, inglês é opcional, tudo depende de quão pouco você quer ter de opções.

Resumindo: Tudo depende de onde você quer chegar. Se seu objetivo é só não ter perrengue, então o básico servirá.