Depende do contexto.
Em sistemas pequenos, que só fazem crud e não tem mais que mil acessos por dia, frontend vai ser mais complexo.
Mas conforme o sistema ganha escala, frontend não muda tanto (o frontend só lida com um usuario por vez) e o backend se torna um monstro.
Um backend de um sistema que recebe 10mil requests por dia não se compara com os que recebem 1 milhão, 100 milhões e assim sucessivamente.
Claro que muitos projetos nao vao chegar a receber 1 milhao de requests por dia, mas de qualquer forma as regras de negocio e acesso a terceiros sempre ficam sob responsabilidade do backend, que precisa se preparar para a indisponibilidade desses recursos.
A maioria das pessoas nunca vai trabalhar num projeto como o Twitter, mas esse video do akita mostra varias coisas que o backend precisa lidar e nos nao fazemos ideia ate dar de cara com o problema:
https://www.youtube.com/watch?v=uIflMYQnp8A
Em resposta a Qual é mais dificil, Frontend ou Backend?
1