Salve, se tiver um back-end intermediario, você pode converter de qualquer tipo multimidia para qualquer outro tipo com ffmpeg.
nesse video tem uma implementação do 0 com c# que transforma audio webm em wav
https://programador.tv/Watch?key=ea45b47f-0699-457a-54e7-08db8ca964e1
deve ser mais fácil em node ;D
Com isso você pode ter varias versões do mesmo audio, uma pra voltar pra um usuario do chrome, outra pra transitar, outra pra outros navegadores, etc.. talvez até uma com qualidade baixa pra carregar rapidamente.
Espero que faça sentido pro seu contexto!