Amigo, sem o script que você utiliza para montar a imagem, não conseguimos ter uma base boa.
Porém, olhe os pacotes que estão sendo baixados na hora que você monta a imagem. Eu tinha um grande problema com a instalação do npm na minha imagem, ele sempre demorava muito tempo para baixar e instalar.
Para resolver esse problema, criei uma imagem fixa com os pacotes que eu precisava como npm, pm2 e nginx, e depois somente atualizava os arquivos das minhas aplicações client e server.