Imagine que você é responsável pela frota armada de um país: desde o recrutamento e treinamento, até os recursos e tecnologias envolvidas na proteção do país. Se um país vizinho começa a desenvolver novos tipos de arma, é seu dever desenvolver também para não ser um alvo fácil em caso de guerra. A ameaça de ter uma arma que pode ser usada é mais forte do que o fato de usar a arma.

Pausar o treinamento de IAs é como se o país que já tem um ótimo armamento falasse "vamos todos parar de desenvolver armas, olha como isso é perigoso!". Você não sabe realmente se todos os outros pararão de desenvolver. E se algum continuar desenvolvendo e te deixar para trás? E quem não tem isso bem desenvolvido e se sente ameaçado (seja por uma invasão no país ou pela perda de market share da própria empresa), o que poderá fazer?

Agora, misturando os dois exemplos: e se as empresas americanas decidirem realmente "fazer do jeito certo", mas a Rússia ou a China investirem em empresas do próprio país para dominarem a área de inteligência artificial, o que impedirá isso?

Esse é um assunto bem mais complexo do que apenas "vamos desacelerar e refletir sobre como não fazer IAs malvadas".