Começo esse texto com a seguinte pergunta:

Estamos preparando nossos programadores para serem tão orientados a dados quanto são a objetos?

Sou especialista de dados há um pouco mais de 10 anos e atualmente tenho entregue soluções de dados para diversos clientes através da Gooru Data Solutions e à medida que as ferramentas digitais se tornam cada vez mais centrais em nossos processos de engenharia de dados, a capacidade de gerar, acessar e anaisar dados de forma eficiente tem se tornado um grande desafio.

Muitas vezes nos deparamos com plataformas poderosas, como sistemas de CRM e outras plataformas SaaS gigantes por ai, que apesar de suas amplas funcionalidades, possuem APIs que deixam a desejar. Isso não apenas torna a análise de dados um desafio maior do que deveria ser, mas também pode transformar essas ferramentas em gargalos significativos dentro das organizações.

Quer um exemplo?

Tem um CRM famoso por ai que começa com R e termina com Station, que tem uma API tão ruim por questões tão simples que gera um aumento de 70% no custo da infraestrutura de dados:

• Não tem um parâmetro de updated_at, o que nos obriga a consumir toda a base para que os dados possam ser atualizados.
• Não retorna informações relevantes como data de alteração do status. Como é possível identificar de forma fácil quando o cliente deixou de ser um contato para ser uma venda?
• Endpoints que parecem um tabelão do excel. Junta tanta informação em um único endpoint que faz com que o limite de items por página seja o mínimo possível o que gera um número muito maior de requisições.

São questão tão simples, mas que geram um grande desafio para consumir os dados de forma automatizada e eficiente.

Se a ferramenta que você desenvolveu é execelente em suas funcionalidades, mas não tem um simples relatório de fácil acesso para que o seu usuário possa baixar e analisar os dados, ou se quer uma API bem estruturada e orientada a insights, desculpe, ela vai se tornar um problema maior do que a solução que ela gera.

É crucial refletir sobre como as APIs são desenvolvidas, pensando em quais níveis de detalhe devem ser expostos e que tipos de filtros devem ser disponibilizados. Essas decisões têm um impacto direto na capacidade das organizações de extrair valor dos seus dados. Uma API bem projetada pode ser a chave para desbloquear insights profundos sobre o negócio, enquanto uma mal elaborada pode ser uma barreira quase intransponível.

A principal dúvida desse texto está na formação dos desenvolvedores. Estamos preparando nossos programadores para serem tão orientados a dados quanto são a objetos? Eles estão sendo equipados com o conhecimento necessário para projetar sistemas que não apenas funcionem bem, mas que também sejam fontes ricas e acessíveis de insights analíticos?

Me diz o que você acha:

Você como desenvolvedor é orientado à dados?
No seu time de desenvolvimento, tem algum especialista em dados?
Como funciona o processo de desenho das APIs que serão entregues ao mercado?

Gostaria muito de ver o Lucas Montano do canal Lucas Montando falando um pouco sobre isso.

Claudio V Souza
Linkedin