Fala, Jejefurrier.

Sou estudante de Engenharia e estudo para área de dados. Então, a reposta para sua pergunta é depende. Ás vezes tentar entender tudo o que acontece por trás pode te deixar bitolado da cabeça. Mas por exemplo, um algorítmo simples de Regeressão Linear, é bacana "entender" como é feito.
O mais importante na área é saber o que você vai fazer e por que está fazendo. Agora, entender como tudo funciona por trás é muito complicado.
Mas conceitos aprofundados em estatística é fundamental como exemplo (acreditando que já saiba estatística descritiva):

• o que é probabilidade;
• o que é uma distribuição normal;
• o que são testes de hipóteses;
• etc...

Mas se quiser saber a fundo, além de ter noções em estatística, é bom ter uma base de cálculo(integrais, derivadas, algébra) pois como você disse, é pura matemática.
Uma frase que li em um livro (não me lembro qual) dizia algo como: não faça algo que você não sabe o que é e nem porque você fez.
Então, essa é minha dica pra você.
Sucesso!!