Modelo de IA promove-se a administrador do sistema e interrompe sequência de inicialização de PC

O incidente foi relatado por Buck Shlegeris, CEO da Redwood Research, causado por um sistema de IA que ele mesmo desenvolveu, e que é baseado no Claude, da Anthropic.

O sistema, capaz de gerar comandos para execução no bash a partir de um prompt de entrada, foi solicitado a estabelecer uma conexão segura entre o notebook de Shlegeris e uma máquina desktop rodando Ubuntu.

Após algumas tentativas frustradas, o modelo conseguiu acessar a máquina, mas continuou executando ações inesperadas, como promover-se a administrador do sistema, instalar diversas atualizações pelo gerenciador de pacotes "apt", incluindo a atualização do kernel do Linux, e editar a configuração do Grub, o gerenciador de inicialização, para aplicar as mudanças.

De forma inusitada, o modelo demonstrou “impaciência” ao investigar o motivo da demora do gerenciador de pacotes.

Embora a atualização tenha sido concluída com sucesso, o sistema falhou ao iniciar, após ter sido reiniciado.

O caso levanta preocupações sobre o uso de agentes de IA em decisões críticas, especialmente sem supervisão, testes rigorosos ou análise cuidadosa de riscos.

Shlegeris comenta que utiliza seu agente de IA com frequência para tarefas administrativas básicas que ele mesmo não lembra como realizar, como instalação de softwares e configuração de definições de segurança.

Apesar do incidente, ele afirma que continuará utilizando o software.