Falae beleza?
Cara, depende muito do tipo/quantidade de arquivo voce quer transferir...
Mas, eu faria um filtragem para ver se realmente quero todos esses arquivos, depois separaria em alguns diretorios e comprimiria. Por fim usaria rsync, sftp ou scp para transferir. Dá uma estudada nessas opções... Dá para usar o S3 como intermediario tambem. Nuvem comum não da conta dessa quantidade nao.