Nova pesquisa sobre o efeito do GitHub Copilot · RafaelMesquita

Uma nova pesquisa sobre o efeito do GitHub Copilot com tecnologia de IA no desenvolvimento de software cita alguns resultados adversos.

O whitepaper “ Coding on Copilot ” do GitClear procurou investigar a qualidade e a capacidade de manutenção do código assistido por IA em comparação com o que teria sido escrito por um ser humano. Em outras palavras: "É mais parecido com as contribuições cuidadosas e refinadas de um Desenvolvedor Sênior, ou mais parecido com o trabalho desarticulado de um empreiteiro de curto prazo?"

A resposta está resumida neste parágrafo do resumo do white paper:

"Encontramos tendências desconcertantes de manutenção. A rotatividade de código - a porcentagem de linhas que são revertidas ou atualizadas menos de duas semanas após serem criadas - está projetada para dobrar em 2024 em comparação com sua linha de base pré-IA de 2021. Descobrimos ainda que a porcentagem de 'código adicionado' e 'código copiado/colado' está aumentando em proporção ao código 'atualizado', 'excluído' e 'movido'. Nesse sentido, o código gerado pela IA se assemelha a um contribuidor itinerante, propenso a violar o SECAGEM [não se repita] dos repositórios visitados."

Isso serve como contraponto às descobertas de alguns outros estudos, incluindo um do GitHub em 2022 que descobriu, por um lado: “os desenvolvedores que usaram o GitHub Copilot concluíram a tarefa significativamente mais rápido – 55 por cento mais rápido do que os desenvolvedores que não usaram o GitHub Co-piloto." Esse estudo foi mencionado no novo white paper da GitClear, que vende uma ferramenta de revisão de código baseada em nuvem. Além da produtividade, o estudo do GitHub também mediu efeitos positivos na satisfação dos desenvolvedores e na conservação da energia mental.

A pesquisa do GitClear, entretanto, investigou “como a composição do código muda quando a IA é usada”. GitClear disse que seu relatório esclarece:

Quais são as três mudanças significativas desde a introdução do Copilot?
O que os líderes técnicos precisam estar atentos para 2024?
Como você pode medir o impacto da IA na qualidade do código da sua equipe?

Em relação a esse primeiro item, o artigo indicou as três mudanças mais significativas associadas à ascensão do Copilot em relação aos códigos "Churn" e "Movido" e "Copiar/Colar":

Crescente rotatividade: "O resultado final é que 'usar o Copilot' está fortemente correlacionado com o 'código de erro' sendo enviado para o repositório."

texto

Menos código movido implica menos refatoração, menos reutilização: "Combinado com o crescimento do código denominado 'Copiar/Colar', há pouco espaço para duvidar de que a implementação atual dos Assistentes de IA desencoraja a reutilização de código. Em vez de refatorar e trabalhar para DRY (' Don't Repeat Yourself'), esses assistentes oferecem a tentação de repetir o código existente com um toque de tecla.

Mais código copiado/colado implica futuras dores de cabeça: "Talvez não haja maior flagelo para a manutenção do código a longo prazo do que o código copiado/colado. Na verdade, quando uma linha de código sem palavra-chave é repetida, o autor do código está admitindo 'Eu não 'não tenho tempo para avaliar a implementação anterior.' Ao adicionar novamente o código em vez de reutilizá-lo, a tarefa é deixada para os futuros mantenedores descobrirem como consolidar caminhos de código paralelos que implementam funcionalidades repetidamente necessárias."

O artigo conclui: "Como o Copilot transformará o que significa ser um desenvolvedor? Não há dúvida de que, à medida que a popularidade da IA aumentou, entramos em uma era em que as linhas de código estão sendo adicionadas mais rápido do que nunca. A melhor pergunta para 2024 : quem está encarregado de limpar a bagunça depois?

Alguns outros estudos sobre o tema incluem:

"Explorando a verificabilidade do código gerado pelo GitHub Copilot :" Encontramos evidências que corroboram o consenso atual na literatura: o Copilot é uma ferramenta poderosa; no entanto, não deveria estar 'pilotando o avião' por si só."
"Avaliando a qualidade da geração de código do GitHub Copilot :" Nossa análise empírica mostra que o GitHub Copilot é uma ferramenta promissora com base nos resultados que obtivemos, porém uma avaliação mais detalhada e mais abrangente será necessária no futuro.
Mudança radical no desenvolvimento de software: análise econômica e de produtividade do ciclo de vida do desenvolvedor alimentado por IA : "À medida que mais desenvolvedores adotam essas ferramentas e adquirem proficiência na arte de solicitar com IA generativa, torna-se evidente que esta nova abordagem para o desenvolvimento de software forjou um ligação inextricável única entre os humanos e a inteligência artificial. Esta relação simbiótica tem o potencial de moldar a construção do software mundial para as gerações futuras."
O impacto da IA na produtividade do desenvolvedor: evidências do GitHub Copilot : "Os efeitos heterogêneos observados mostram-se promissores para os programadores de pares de IA ajudarem as pessoas na transição para carreiras de desenvolvimento de software."
Estudo da experiência dos desenvolvedores de software usando a ferramenta Github Copilot no processo de desenvolvimento de software : "Os resultados da pesquisa indicam que as opiniões dos desenvolvedores estão divididas. A maioria deles conheceu o Github Copilot antes de participar da pesquisa. A atitude em relação à ferramenta foi principalmente positiva mas poucos participantes estavam dispostos a usá-lo. As preocupações são causadas por problemas de segurança associados ao uso do Github Copilot."
Para o seu estudo, o GitClear coletou e analisou 153 milhões de linhas de código alteradas, de autoria entre janeiro de 2020 e dezembro de 2023.

Sobre o autor
David Ramel é editor e escritor da Converge360.