Se o browser precisa ler o arquivo para que sua página funcione, o usuário vai ter acesso ao código, não tem como você impedir isso.
O que você pode fazer é usar ferrmentas como o obfuscator ou o uglify para dificultar o entendimento do código de producão. E lembre-se também de não deixar os arquivos de source map (.map) em producao caso opte por essas solucoes.