quando precisar escalar um servidor para centenas de milhares de usuários, wordpress pode ser um problema para escalar e atender todo mundo.
sobre desvantagens de UX/UI, o código html gerado na maior parte das vezes é sujo, com muitas coisas (javascript e css) que você não necessita. se estamo falando de um acesso via 3G para seu site, onde cada kb conta, fica bem complicado otimizar ao máximo. possivelmente partindo para um código escrito do zero.
sobre penalidades, sim, se seu site performa mal e demora 5-10 segundos para carregar por ter certeza que o Google já está te rebaixando nas buscas. o mesmo tambem é válido para AdWords.