Olha amigo, se eu fosse você eu não mudaria assim sem planejamento, pois JS e PHP são linguagens com finalidades bem diferentes... Se você achar que os recursos que tem pra JS não somam em nada no projeto, se você acha que as dependências e funcionalidades do JS não agregam nada ness projeto em si, e se você acha que não vai interferir em manutenções futuras, dai eu diria que ainda assim deve ser bem pensado kkkkkkkk, mas se o foco for apenas reduzir custos, acho que você poderia sim refatorar...