Apesar de go perder em todos os benchmarks onde rust aparece, como você disse o programa vai passar mais tempo sendo executado do que compilando. Criar um código performático acredito ser mais importante que a preocupação com o tempo de compilação e não acho que Rust faça feio quando o assunto é tempo de compilação, acredito ser bastante razoável neste sentido.