1 min de leitura ·

[DISCUSSÃO] Como você faria um espelho de um banco de dados?

Oi gente, estou trabalhando em um projeto onde vou precisar migrar algumas tabelas de um banco Oracle para um redshift.

A ideia é básicamente essa, tenho dados no banco da Oracle e preciso fazer uma carga diária para o Redshift de forma simples:

graph TD
Oracle_DB --> Carga_diária
Carga_diária --> Redshift_DB

Minha primeira ideia é criar um script em python que leia tabela por tabela do Oracle (dado um lista de quais tabelas quero realmente puxar) e crie a estrutura da tabela no Redshift e envie todos os dados, num primeiro momento to pensando em uma carga full diária (ou semanal para teste), talvez usando um CRON em um EC2 na amazon.

PS: Não posso usar Airflow pois vamos descontinuar essa ferramenta da empresa.

rsanjos

2 anos atrás

Um ETL te ajuda com isso, como amigo comentou você pode fazer cargas diferenciais.
Eu já passei por esta situação e utilizei o pentaho a versão free já atende.
https://www.hitachivantara.com/en-us/products/dataops-software/data-integration-analytics/pentaho-community-edition.html

kht

2 anos atrás

Eu usaria uma ferramenta pra automatizar isso. Se não pode usar uma específica, o que impede de buscar outra? Se procurar certamente vai achar várias - segue um exemplo que encontrei em uma busca rápida (não é uma recomendação porque não usei, foi só pra mostrar como não é difícil encontrar algo pronto).

Inclusive, muitas suportam replicação incremental (da segunda vez em diante, em vez de copiar tudo, só copia o que mudou), permitem agendar a periodicidade, entre outras facilidades e otimizações.

Claro que se for um banco muito simples (poucas tabelas e/ou muito pequenas - sendo que "poucas" e "pequenas" é subjetivo), talvez uma ferramenta como essas seja um canhão pra matar mosca. Mas de forma geral, eu optaria por uma, em vez de fazer na mão.