Bom, mudando um pouco de assunto, uma dica que posso dar é que - pelo menos no último exemplo - vc está não está usando map da melhor maneira. Quer dizer, até "funciona", mas não é a ferramenta adequada para este caso.

A ideia do map é executar algo com cada elemento de um array, e retornar outro array com os resultados. Ou seja, array.map(função) executa a função para cada elemento do array, e cria outro array com os retornos desta função. Mas no seu caso vc está ignorando estes arrays retornados, que estão sendo criados à toa.

No fundo, vc está usando map como um substituto do for. E isso até "funciona", já que no fim ele vai percorrer por todos os elementos. Mas se vc não quer os resultados (os arrays que são criados cada vez que vc chama map), então é um uso torto.

Vale lembrar que o resultado do map é um array com o mesmo tamanho do array original, mas também não é isso que vc quer. Vc tem o array casas com 100 elementos. Mas cada um desses elementos possui outro array, que por sua vez tem 100 elementos, sendo que cada um deles tem mais 100 elementos cada. E no fim o que te interessa é o array final com 1 milhão de elementos (os valores de todas as cores). Só o fato de resultar em um array com tamanho diferente do original já indica que map não é o mais adequado.

Enfim, neste caso o ideal é usar for mesmo. Inclusive, fiz uns testes usando o Benchmark.js e o for foi bem mais rápido que o map.

Quanto a usar Promise.all, não faz sentido ali porque este método deve receber um array de promises. Mas vc está passando um array de arrays de arrays de números (sim, pois push retorna o tamanho do array após a inserção do elemento, e depois este array é retornado para o map de fora, que por sua vez repassa como um array de arrays para o map mais externo). E segundo a documentação, os elementos que não são promises são ignorados. De qualquer forma, a demora talvez ocorra porque há um overhead em criar as promises - mas não muda o fato de não fazer sentido usar promises neste caso.

Quanto ao primeiro código, realmente fica difícil avaliar sem todo o contexto. Ainda sim eu acho estranho usar map ali, pois no fundo parece que está fazendo array.map(e => outroArray.push(e)) - ou seja, está usando map como um loop para preencher outro array, o que eu já disse que é um uso torto. E usar isso em conjunto com Promise.all cai no que também citei acima, de passar coisas que não são promises, o que não faz sentido.

Enfim, eu revisaria esses pontos antes de tirar mais conclusões. Não sei nem se o uso de map que deixou mais rápido, meu palpite é que não (mas claro, é apenas um chute sem conhecer todo o contexto).