Vai fundo Eduardo! Quanto mais tecnologias você souber, mais opções para resolver os teus problemas você vai ter.
Inclusive, você sabe que o Wordpress pode trabalhar de forma headless?
Isso é muito útil caso você já esteja acostumado com a estrutura do Wordpress, que é bem organizado e queira engatar qualquer outro frontend sem perder tudo que já criou anteriormente.
Fica a dica!
Já tinha ouvido falar, desde que a API Rest foi lançada, né? Taí um desafio para eu pôr em prática ao aprender React. Valeu pela dica!
Você já fez isso? Sentiu diferença no tempo de carregamento ou o Banco de Dados mysql é um fator limitante de performance?
Então, nunca cheguei a implementar nada nesse sentido, porque não é meu foco de trabalho no dia a dia.
Mas, acredito que você deve ter resultados melhores do que usando o Wordpress Full, pois vai ser a API e o banco apenas :)
Quanto ao MySQL, existem otimizações que podem ser feitas a nível de configuração que podem deixar ainda mais rápido as operações de leitura e escrita, bem como sugiro uma configuração com pool de conexões e replicas, porém esse é um caso extremo!
Sugiro começar entendendo mesmo como funciona essa API e depois ir melhorando as coisas conforme a necessidade \o/