serviceworker.js pode ser gerado de forma mais eficiente pelo próprio site do PwaBuilder já nos padrões corretos.
Respondendo a "Você precisa também do serviceworker.js, se não..." dentro da publicação Transforme seu site em Aplicativo! Como criar sua PWA e TWA?
1
2
Verdade vi aqui, quando usei o pwabuilder eu já estava com manifesto e serviceworker e nem liguei direito pra essa parte, mas é a melhor forma mesmo.