Você vai ler muitos dependes aqui, portanto vou traçar qbaixo um racional para resover as constantes quedas que tens hoje, ok? A empresa precisa consultar todos estes TB de dados? Normalmente as empresas não precisam de mais de 3 anos de dados em seus...

Lembrei disso para te ajudar com a fuga do CRUDs highscalability.com http://highscalability.com/ GorvGoyl/Clone-Wars: 100+ open-source clones of popular sites like Airbnb, Amazon, Instagram, Netflix, Tiktok, Spotify, Whatsapp, Youtube etc. See source c...

Um ETL te ajuda com isso, como amigo comentou você pode fazer cargas diferenciais. Eu já passei por esta situação e utilizei o pentaho a versão free já atende. https://www.hitachivantara.com/en-us/products/dataops-software/data-integration-analytics/pe...

Vou deixar meus 5 centavos de contribuição. Tem uma ordem sugerida para ler os livros e para você incrementar o conhecimento, você começou pelos livros de arquitetura (DDD, Clean Arch), fatalmente cruds vão te irritar com tanto conhecimento. Para estes...

rsanjos