Pode ser o banco de dados também, verifique quando tempo está demorando usando o Developer Tools do navegador na aba Rede/Network, ve quantos MS demora para retornar uma página se usa o banco de dados, se demorar muito então é isso, faça testes nela.
1
1
O MySQL em PHP não tem como ver no Developer Tools, mas não era o banco de dados, o problema foi resolvido, fiz uma atualização na pergunta.