Depende bastante do que você pretende trabalhar. Sendo "grosso", back-end é CRUD, você consegue sobreviver as tarefas feijão com arroz só sabendo fazer endpoints e entradas em banco de dados. Por outro lado, quanto mais você se especializar, mais outras coisas são importantes. Se você trabalhar em um banco de dados, por exemplo, muita base matemática vai ser importante.
Se você for trabalhar com filas de processamento, entender a fundo estrutura de dados e como os computadores funcionam vai te ajudar. Mas de modo geral, do que você falou o mais relevante de fato é arquitetura de computadores, mas mais o básico mesmo pra você saber como o que você faz funciona de baixo dos panos. A base matemática mais forte normalmente é usada em computação gráfica.