Pesquisa quantifica o impacto do GitHub Copilot na produtividade e felicidade de desenvolvedores · FlaviaCarvalho

Em 2021, quando o GitHub lançou uma prévia técnica do GitHub Copilot pela primeira vez, a hipótese era de que a ferramenta melhoraria a produtividade dos desenvolvedores e, de fato, os primeiros usuários compartilharam relatos confirmando isso.

Nos meses seguintes ao seu lançamento, o GitHub queria entender e medir melhor esses efeitos por meio de pesquisas quantitativas e qualitativas. Agora, a plataforma divulgou os resultados obtidos.

Mas antes de entrarmos nos números propriamente ditos, vale fazer alguns questionamentos:

Como medir produtividade de desenvolvedores?

Este é um tópico que traz mais perguntas do que respostas.

Em um estudo de 2021, o GitHub descobriu que a visão de produtividade para os desenvolvedores é, diferentemente de métricas tradicionais, mais parecida com “ter um bom dia”. A capacidade de manter o foco em cada tarefa, fazer um progresso significativo e sentir-se bem no fim de um dia de trabalho faz uma diferença real na satisfação e produtividade dos profissionais.

Como o GitHub enxerga a produtividade do desenvolvedor?

Como o desenvolvimento assistido por IA é um campo relativamente novo, o GitHub teve poucas pesquisas anteriores para se basear.

Após observações iniciais e entrevistas com usuários, eles pesquisaram mais de 2.000 desenvolvedores para aprender, em escala, sobre suas experiências usando o GitHub Copilot. Para isso, a abordagem principal levou em consideração 3 pontos:

Olhar para a produtividade de forma holística: pensar na produtividade do desenvolvedor de forma ampla e sustentável e os muitos fatores que a influenciam - usando o framework de produtividade SPACE para escolher quais aspectos investigar.
Incluir a perspectiva dos desenvolvedores em primeira mão: foram conduzidas várias rodadas de pesquisa, incluindo dados qualitativos (perceptivos) e quantitativos (observados) para montar o quadro completo.
Avaliar os efeitos do GitHub Copilot em cenários diários: foi preciso tomar um cuidado extra para recrutar desenvolvedores profissionais e projetar testes em torno de tarefas típicas que poderiam ser realizadas em um determinado dia.

Descoberta 1: a produtividade do desenvolvedor vai além da velocidade

Melhorando a satisfação do desenvolvedor: entre 60 e 75% dos usuários relataram que se sentem mais satisfeitos com seu trabalho, menos frustrados ao criar códigos e que conseguem se concentrar em trabalhos mais satisfatórios ao usar o GitHub Copilot.
Conservação da energia mental: os participantes relataram que o GitHub Copilot os ajudou a permanecer no fluxo (73%) e preservar esforços mentais em tarefas repetitivas (87%).

Resultados da pesquisa ilustrados em um gráfico

Descoberta 2: …mas a velocidade também é importante

Na pesquisa, os participantes relataram que conseguiram concluir tarefas mais rapidamente ao usar o GitHub Copilot, especialmente as mais repetitivas. Essa era uma descoberta esperada (afinal, a ferramenta trabalha mais rápido que um humano), mas os números ainda impressionam.

Para observar e medir esse efeito na prática, o GitHub fez um experimento controlado:

Resultados da pesquisa ilustrados em um gráfico

Eles recrutaram 95 desenvolvedores profissionais, os dividiram aleatoriamente em dois grupos e cronometraram quanto tempo os participantes levaram para escrever o código de um servidor HTTP em JavaScript. Um grupo usou o GitHub Copilot para concluir a tarefa e o outro, não. Foi preciso controlar o máximo de fatores possível: todos os participantes já estavam familiarizados com JavaScript e contaram com as mesmas instruções.

O grupo que utilizou o GitHub Copilot teve uma maior taxa de conclusão da tarefa (78%, comparado a 70% no grupo sem a ferramenta).
A diferença marcante foi que os desenvolvedores que usaram o GitHub Copilot concluíram a atividade significativamente mais rápido – 55% mais rápido do que os desenvolvedores que não usaram.

O que essas descobertas significam para os desenvolvedores?

A conclusão final é que o GitHub Copilot permite que as tarefas sejam finalizadas mais rapidamente, conserva a energia mental dos desenvolvedores ao arcar com trabalhos mais chatos e repetitivos, permite que eles se concentrem em trabalhos mais significativos e complexos - que requerem pensamento crítico - e, finalmente, os ajuda a encontrar mais diversão e satisfação no que fazem.

De forma mais ampla, o grupo de pesquisa agora irá tentar entender as implicações do GitHub Copilot em contextos variados: educação, segurança, mercado de trabalho, bem como práticas e comportamentos de desenvolvedores.

Essa notícia também saiu de forma resumida na Newsletter diária do Filipe Deschamps (inscreva-se por aqui).

Usei o copilot até o final do período de testes, acho US$ 10,00/mês um valor muito alto para o bolso do brasileiro.

Acredito que realmente melhora a velocidade e remove aquela sensação de travamento quando estamos sem muita criatividade. Porém, percebi que com o tempo pode nos deixar mais preguiçosos, me peguei em algumas situações apenas esperando as sugestões do copilot sem pensar por mim mesmo.

Outra coisa que percebi, os Jr. do meu time estavam ficando dependentes demais do copilot, até sugeri que desabilitassem a extensão para poder aprender a pensar como programadores e não guias do copilot.

Copilot é uma baita ferramenta para quem sabe o que está fazendo, para quando ainda está pensando nas estruturas da solução é melhor não utilizá-lo.