uma IA autonoma num super computador
Não precisa chegar a tanto. Acredito que, se um dia a IA destruir a humanidade, será de outra forma.
Por exemplo, imagine uma IA que dá informações erradas. Ou então meio-certas: ela diz algo que parece correto até certo ponto, mas possui falhas fundamentais que precisam de uma análise mais aprofundada para ser notado (só que a maioria não vai perceber porque se contenta com uma resposta rápida, mesmo que não seja totalmente certa).
Aí as pessoas seguem cegamente, sem questionar, acreditando em tudo que a IA diz. Algumas vão até venerá-la, achar que é uma divindade, um oráculo supremo, a resposta para todas as perguntas.
<sarcasmo>Seria terrível se isso acontecesse, não?</sarcasmo>
Sim, se alguém ainda não percebeu, estou falando do ChatGPT. Não que eu seja um ludita apocalíptico teórico da conspiração, que acha que a "IA malvada vai acabar com a humanidade". Mas sejamos realistas, já tem muita histeria em torno dele, muita gente acreditando em tudo que ele diz, muito deslumbramento exagerado, e isso tem um potencial destrutivo enorme.
Por exemplo, uma IA como essas tem uma capacidade inimaginável de gerar fake news em escala ultra-massiva. Se hoje as notícias falsas já causam estrago, imagine se aumentar a escala e o alcance. Some-se a isso a disposição de mais pessoas acreditarem nela sem questionar, e temos a receita para o desastre.
A IA não precisa invadir nenhum sistema. Como já comentei aqui, basta que uma geração de programadores perca o senso crítico e comece a seguir cegamente a IA para que os sistemas fiquem cada vez piores e quebrem por si só. Ela vai causar os problemas de maneira indireta, e muitos não vão nem entender, porque jamais passará pela cabeça destes culpar a "IA que tanto me ajuda".
Claro, estou especulando um cenário catastrófico, uma versão bem pessimista (e convenhamos, a humanidade tem um histórico que me faz crer que a chance é grande).
Mas na vida real, ainda tenho um tiquinho de otimismo e espero que tenham pessoas suficientes com senso crítico e que não caiam no hype. Essas vão saber usar a ferramenta adequadamente, sem histeria, sem deslumbramento. Mas que tudo isso vai gerar novos problemas, ah vai. Se vai ser suficiente pra acabar com a humanidade, aí é outra história...