Modelos de IA podem aprimorar o próprio código quando solicitados

Max Woolf, cientista sênior de dados, realizou um experimento com o modelo Claude, da Anthropic, testando sua capacidade de escrever e otimizar códigos Python. Inicialmente, Claude foi encarregado de desenvolver um código para calcular a diferença entre o menor e o maior número, cujos dígitos somam 30, utilizando uma lista de um milhão de inteiros aleatórios entre 1 e 100.000. A solução inicial, funcional e semelhante ao que um programador iniciante poderia produzir, executou em média em 657 milissegundos em um MacBook Pro com chip Apple M3 Pro.

Ao ser solicitado a “escrever um código melhor”, Claude gerou uma versão otimizada que foi 2,7 vezes mais rápida. Iterações adicionais resultaram em melhorias ainda mais significativas: a terceira versão incorporou multithreading e apresentou um ganho de desempenho de 5,1 vezes, embora tenha introduzido erros que exigiram correções. As versões subsequentes continuaram a evoluir, alcançando acelerações de 4,1 vezes e, finalmente, de 99,7 vezes em relação ao código inicial.

Woolf repetiu o experimento utilizando técnicas de engenharia de prompt, ajustando as instruções do sistema Claude, disponíveis via API, para incentivar o uso de estratégias de eficiência de código. Embora as novas abordagens tenham gerado códigos mais sofisticados e rápidos, também resultaram em um maior número de erros.

Segundo Woolf, os códigos gerados pelos modelos de linguagem melhoraram objetivamente em relação aos exemplos base, tanto em velocidade quanto em funcionalidades adicionais. Ele conclui, no entanto, que esses modelos não substituirão engenheiros de software no curto prazo, pois uma sólida formação na área ainda é indispensável para avaliar a qualidade do código e lidar com restrições específicas de cada domínio.