Não sei se entendi bem, mas é possível utilizar frameworks de JS também. Inclusive, específico para React o autor do pacote criou meio que um setup pronto. Conforme está na documentação:

If React is your thing, get started right away with React boilerplate.

O link leva para um projeto no Github. Não cheguei a testar, mas acredito que é só seguir o Readme pra dar início em um novo projeto usando PyWebView com React!