Você pode fazer um filtro dos streams por somente o audio, que retornará uma lista
yt.streams.filter(only_audio=True)
E depois selecionar o formato que você usando o ID retornado na lista
yt.streams.get_by_itag(22)
Na documentação tem mais detalhes sobre:
https://pytube.io/en/latest/user/streams.html#filtering-for-audio-only-streams