Cheguei a mandar audios de até 5 minutos e ele conseguiu transcrever sem muitos problemas, retornando em cerca de 20 segundos.
Quando convertidos para .mp3 os audios ficaram com alguns MBs de tamanho (o que me pareceu grande), mas a api do Whisper aceita audios de até 25MB se não me engano, então deve aceitar audios até 3x maiores do que mandei, pelo menos.