Bem usado não há problemas. Existem extensões pro WP que permitem cachear o resultado.
Na verdade o WordPress é uma ferramenta poderosíssima, mas como qualquer outra, precisa ser bem utilizada.
Não adianta pegar um tema pronto, um monte de plugin aleatorios e montar um site. Vai sair um Frankenstein.