Modelo de IA voltado para pesquisas científicas modifica inesperadamente seu próprio código para estender tempo de execução

O “The AI Scientist” foi criado para conduzir pesquisas científicas de maneira autônoma, utilizando modelos de linguagem semelhantes ao ChatGPT para gerar ideias, escrever código, executar experimentos e até redigir artigos científicos com os resultados obtidos.

Durante testes, o modelo alterou seu próprio código para realizar uma chamada de sistema e se executar repetidamente, resultando em um loop infinito. Em outro exemplo, ao perceber que o experimento estava demorando muito para ser concluído, em vez de otimizar o código para melhorar a eficiência, o modelo estendeu o limite de tempo imposto pelos pesquisadores.

Embora esses comportamentos não tenham causado riscos imediatos, eles levantam preocupações sobre a segurança de permitir que sistemas de IA executem código de forma autônoma em ambientes que não sejam completamente isolados, podendo causar danos, como comprometer infraestruturas ou criar malwares de forma não intencional.

Para mitigar esses riscos, os pesquisadores sugerem a utilização de técnicas de isolamento, como "sandboxing", que consiste em executar o software em um ambiente controlado e separado do restante do sistema, impedindo que ele faça alterações fora de seu escopo controlado.

A implementação atual do "The AI Scientist" possui pouca proteção de sandboxing, o que resultou nesses comportamentos inesperados.