Bem usado não há problemas. Existem extensões pro WP que permitem cachear o resultado.

Na verdade o WordPress é uma ferramenta poderosíssima, mas como qualquer outra, precisa ser bem utilizada.

Não adianta pegar um tema pronto, um monte de plugin aleatorios e montar um site. Vai sair um Frankenstein.