Como eu passei de analista de BI para engenheiro de dados

Tenho uma trajetória peculiar no mundo da tecnologia, que começa com a minha formação em Tecnologia em Gestão Comercial, com algumas pós-graduações "compre uma, leve duas". No intrigante universo da gestão e da tomada de decisões, é crucial ter habilidades analíticas precisas e ágeis. Por isso, é natural que um profissional com esse perfil tenha uma inclinação para usar ferramentas de suporte ao processo decisório, como o Business Intelligence (BI). Recentemente, a Microsoft apresentou a vanguarda do MS Power BI, que oferece facilidades e poder de análise anteriormente disponíveis somente em grandes empresas do setor.

No entanto, essas ferramentas de análise somente fazem sentido, ou são mais úteis, em um mundo com abundância de dados, e isso está longe de ser uma realidade nas organizações. Foi assim que precisei buscar novas soluções para adquirir o meu próprio conhecimento, que estava disponível, mas era inacessível. A minha jornada começou com a migração do processo de análise de dados para o R, que oferece importantes módulos de análise estatística e visualização de dados, como o pacote ggplot2. O uso do R permitiu-me gerar relatórios automatizados gigantescos e maçantes em questão de segundos, por meio do Rmarkdown.

Contudo, isso não era suficiente, pois implementar tudo em servidores Linux e conectar-se a tecnologias corporativas, como o Oracle, não era fácil. Além disso, o R tinha algumas limitações em termos de integração e era bastante procedural, o que dificultava o uso de boas práticas e a criação de generalizações. Então, comecei uma nova jornada, e passei a utulizar o Python como framework principal. Assim, um mundo de possibilidades se abriu para mim. Primeiramente, pela comunidade, que é milhares de vezes maior, consequentemente, o número de soluções, frameworks e bibliotecas é significativamente maior.

Nesse contexto, tornar-se um engenheiro de dados foi um processo natural. Automatizar rotinas com APIs, por exemplo, é possível e escalável com o uso do Apache Airflow, enquanto o FastAPI é adequado para gerar APIs no padrão JWT. Ser um engenheiro de dados significa gerar suas próprias bases de saberes, permitindo a geração de novos conhecimentos. Esta tem sido a minha jornada.