Nos testes que eu fiz com Rust senti que ele não compila tudo toda vez, se você não deletar a pasta target do projeto ele só recompila o que mudou desde a última compilação, e geralmente o que demora mais são as dependências. Por isso eu não acho que tempo de compilação seria um problema constante ao trabalhar num prohjeto grande, seria mais perceptível na primeira vez que você ajusta seu ambiente de trabalho (começar trabalhando num projeto grande pré-existente), se adicionar uma nova dependência que seja pesada, ou ainda se for compilar com opções diferentes (optimizações extras ou otimizar para que o executável seja menor).
E sendo justo, seu código vai pasar mais tempo sendo usado do que sendo compilado, então é um investimento razoável.

Mas se tempo de compilação for uma preocupação realmente importante, a melhor linguagem que eu conheço é Go.