Exatamente, Leonardo, acredito que um dos pontos que o livro define para fazer com que tais IA's não sejam destrutivas, é a transparência de dados somada com a auto-aprendizagem. Por exemplo: uma IA que avalia o desempenho de jogadores de futebol (número de gols, vitórias, posições e percentagem de gols batendo de direita ou esquerda) pode utilizar destes dados públicos para avaliar as melhores estratégias de posições dos jogadores, e caso a predição esteja errada, ao ser aplicada a um jogo real, essa IA iria aprender com os próprios erros (acrescentando as estatísticas deste jogo no banco de dados de aprendizagem) e bolar novas estratégias, sem necesssariamente punir o jogador ou qualquer outro envolvido.

No livro é citado um modelo parecido só que com basebol, no qual esses dados dos jogadores são públicos, essas IA's já existem e fazem com que times reais lucrem milhões com previsões corretas dadas pela IA.

Mas no caso que eu citei da professsora, podemos perceber que os parâmetros analizados pela IA eram particulares, e solução não tinha propósito corretivo, mas sim punitivo. Além de que ao gerar os nomes dos 2% de "professores mais mal qualificados" ela só fazia devolver os dados, e não aprender com eles, ou seja, não gerava nada de valor.