Muito obrigado por compartilhar sua ideia, não conhecia o moviepy
O que eu testei e funciona também, é você já passar o nome do arquivo já com o sufixo .mp3, na função download(), que o arquivo será salvo já no formato mp3

from pytube import YouTube

# URL do vídeo que deseja fazer o download do áudio
url = "url"

# Criando instância do objeto YouTube e passando a URL do vídeo
yt = YouTube(url)

# Obtém o melhor áudio disponível
audio = yt.streams.get_audio_only()

# Faz download para o diretório atual
audio.download(filename="audio.mp3")