Acontece com todo mundo,
A memória está livre, e o processamento tbm, mas tô achando que pode ser alguma configuração de cache da database. Tem algumas consultas que demoram cerca de entre 0,07 e 0,20s para serem concluídas.
Mas não sei ao certo o que mais precisa ser configurado no MariaDB pra aguentar essas consultas.
Pode ser o banco de dados também, verifique quando tempo está demorando usando o Developer Tools do navegador na aba Rede/Network, ve quantos MS demora para retornar uma página se usa o banco de dados, se demorar muito então é isso, faça testes nela.
O MySQL em PHP não tem como ver no Developer Tools, mas não era o banco de dados, o problema foi resolvido, fiz uma atualização na pergunta.