A parte de SEO é você quem constroi, criando um site com HTML, CSS e JS Vanilla, você terá TOTAL controle do que está acontecendo na sua aplicação, e com conhecimento de boas práticas de SEO, você fará um site extremamente rápido.
O Wordpress, se bem configurado, você também poderá fazer um bom SEO.
A vantagem do Wordpress é para não programadores terem seu CMS. Você como programador, pode fazer tudo na mão.
Te garanto que não é Wordpress ou um site HTMl/CSS que irá fazer o seu SEO fazer mágica. Vai ser VOCÊ.
Você tem que garantir as boas práticas e realizar o melhor SEO possível, com palavras chaves, descrições, alts, nomenclaturas, etc.