Desenvolvedor questiona qualidade do código gerado pelo GitHub Copilot
Segundo um estudo realizado pela empresa, usuários do Copilot têm 56% mais chances de passar em testes unitários e escrevem 13,6% mais linhas de código sem erros.
Dan Cîmpianu, por outro lado, aponta que o estudo realizado pelo GitHub pode ter favorecido o Copilot, já que os participantes desenvolveram um aplicativo CRUD básico — um tipo de projeto comum em tutoriais, muitas vezes incluído nos dados de treinamento do modelo. Além disso, a definição de “erros de código” usada no estudo considerava apenas problemas de estilo ou avisos de linters, e não falhas funcionais que poderiam comprometer a execução do programa. O ganho reportado de 13,6% em linhas de código sem erros foi questionado, pois aparentemente corresponde a apenas duas linhas adicionais sem problemas de estilo.
Cîmpianu também destaca que, em outros estudos, o Copilot mostrou reduzir a qualidade do código. Um desses estudos revela que ferramentas de geração de código frequentemente cometem erros que podem levar a vulnerabilidades, com tempos médios de correção de 9,1 minutos para o Copilot e 8,9 minutos para o ChatGPT. Ele afirma que profissionais devem estar preparados para lidar com códigos inválidos em 10% das vezes e testar rigorosamente os resultados para evitar problemas.
Por fim, Cîmpianu argumenta que, se um desenvolvedor não é capaz de escrever código sem o auxílio de uma IA, então não deveria utilizá-la.