Um ETL te ajuda com isso, como amigo comentou você pode fazer cargas diferenciais.
Eu já passei por esta situação e utilizei o pentaho a versão free já atende.
https://www.hitachivantara.com/en-us/products/dataops-software/data-integration-analytics/pentaho-community-edition.html