documentação e testes em engenharia de dados.
Fala turma, tudo tranquilo?
Entrei recentemente na área de engenharia de dados. Sou o único dev do time e junior, então me falta algumas experiências para garantir que o que estou desenvolvendo hoje, seja seguro e documentado corretamente.
Queria muito entender como posso aplicar testes, tudo que pesquiso é relacionado a back e front e não consigo achar nada que faça sentido dentro de contexto de dados. Além disso, queria documentar melhor. Faço uso sem medo de docstrings mas não sei se isso é o suficiente. Como documento DAGs? Uso um readme? Adoto o confluence como um "blog" interno explicando as coisas que faço?
É tudo um tanto obscuro e como sou sozinho acaba que não tenho alguém mais experiente pra me ajudar a tomar essas decisões.
Não gostaria de resposta pronta não, mas se fosse possível orientação de temas e conteúdos que eu possa estudar e me aprofundar ficarei grato.