Executando verificação de segurança...
1

Algoritmos de Destruição em Massa - Sugestão de leitura

Recentemente, li um livro chamado "Algoritmos de Destruição em Massa" da Cathy O'Neil. O livro oferece um olhar assustador sobre como os algoritmos estão regulando as pessoas. Ao sabermos que decisões estão sendo tomadas por modelos matemáticos. Em teoria, isso deveria nos conduzir para um pensamento de justiça pois todos são julgados de acordo com as mesmas regras e o preconceito é eliminado. Entretanto, parte dos modelos usados hoje são opacos, não regulamentados e incontestáveis, mesmo quando estão errados. O mais preocupante é que eles reforçam a discriminação, e a autora utiliza de diversos casos reais para dissertar sobre isso.

O caso que mais me chamou a atenção, foi os mais de 200 professores de escolas públicas que foram demitidos por volta do ano de 2009 em Manhattan por um algoritmo que analisa o desempenho dos alunos. A causa era justa: melhorar a qualidade de ensino em escolas, expulsando os professores mal qualificados. E por serem julgados por uma IA, a decisão seria neutra e não haveria "coleguismo". O problema é que é absurdamente difícil parametrizar todos os motivos que causam a nota baixa de um aluno (familiares e psicológicos por exemplo) e demitir os professores foi solução ineficaz. Isso pois, a partir de tal, os professores passaram a rasuzar provas de seus alunos, diminuir a dificuldade de provas, além de "passar alunos" de série. Isso não só prejudicou ainda mais a educação nas escolas públicas, como aumentou a desigualdade, dado que professores bons de escolas públicas (geralmente frequentados por pessoas de baixa renda) foram contratados em escolas particulares (média/alta renda).

O motivo deste caso me chamar muita atenção, é porque vivemos um sistema parecido aqui no Brasil. Para quem estuda(ou) em escola pública, sabe que o caráter de classificação em escolas está relacionado a quantidade de aprovações e não em conteúdos abordados em cada disciplina. O que faz com que as escolas estejam cada vez mais preocupadas em ter o maior número de aprovações, e facilitando de modo que pessoas "passam" de série sem dominar determinados assuntos elementares

O livro cita diversos outros casos, que mostram o quanto devemos tomar cuidado com esses algoritmos, que já estão presentes em diversas áreas, e como elas criam um "coquetel tóxico" para a democracia.

ISBN (EN): 0553418815
ISBN (PT-BR): 6586460166

Carregando publicação patrocinada...
1

Sinto que esse "pedacinho de internet" que o Tabnews está se tornando irá nadar contra essa correnteza. O livro também cita ótimos exemplos de algoritmos de decisão muito bem aplicados, e eu espero que se tivermos a necessidade, sigamos tais exemplos para construção de um algoritmo bom.

1

Esse é um tópico muito interessante!

O que me parece é que o algoritmo foi mal utilizado nesse caso.

Faltou alguém, ou melhor, um grupo de pessoas com experiencia e competência para definir o máximo de parâmetro necessários, e talvez um outro grupo de pessoas para refinar e analisar o resultado do algoritmo e decidir se essa era uma escolha sensata, ponderando as partes que podem ser atingidas por essas escolhas!

Realmente, os algoritmos não são o problema, são uma ótima ferramenta, assim como toda a tecnologia, se mal aplicada/utilizada, pode se tornar uma arma de destruição em massa como cita o título!

1

Exatamente, Leonardo, acredito que um dos pontos que o livro define para fazer com que tais IA's não sejam destrutivas, é a transparência de dados somada com a auto-aprendizagem. Por exemplo: uma IA que avalia o desempenho de jogadores de futebol (número de gols, vitórias, posições e percentagem de gols batendo de direita ou esquerda) pode utilizar destes dados públicos para avaliar as melhores estratégias de posições dos jogadores, e caso a predição esteja errada, ao ser aplicada a um jogo real, essa IA iria aprender com os próprios erros (acrescentando as estatísticas deste jogo no banco de dados de aprendizagem) e bolar novas estratégias, sem necesssariamente punir o jogador ou qualquer outro envolvido.

No livro é citado um modelo parecido só que com basebol, no qual esses dados dos jogadores são públicos, essas IA's já existem e fazem com que times reais lucrem milhões com previsões corretas dadas pela IA.

Mas no caso que eu citei da professsora, podemos perceber que os parâmetros analizados pela IA eram particulares, e solução não tinha propósito corretivo, mas sim punitivo. Além de que ao gerar os nomes dos 2% de "professores mais mal qualificados" ela só fazia devolver os dados, e não aprender com eles, ou seja, não gerava nada de valor.

1

Eric, muito legal essa discussão, me deixou pensando bastante e por isso que demorei para responder.

O que talvez concluí é que todas as estratégias que adotamos são algoritmos. Por exemplo, se a mesma estratégia adotada nessas escolas fosse executada por humanos, resultaria provavelmente no exato mesmo problema, no exato mesmo efeito colateral.

E o problema começa quando nós perdemos o controle do que os algoritmos estão fazendo, num estágio na qual humanos convencionais não conseguem mais entender o que está sendo feito dado a quantidade de dados e variáveis... que daí sim pode entrar no estágio de destruição em massa.

Então pelo que observo, Inteligências Artificiais ou algoritmos ganharam um estigma meio que "especial", mas que não tem nada de especial... é apenas a própria natureza humana, só que em larga escala (e esse é o perigo). O que me deixa pensando: os esforços deveriam estar onde? Em melhorar os algoritmos, ou melhorar a natureza humana?

1

Deschamps, dando a minha opinião sobre

os esforços deveriam estar onde? Em melhorar os algoritmos, ou melhorar a natureza humana?

Acredito que melhorar a natureza humana é bem mais complexo que melhorar os algoritmos, além de ser algo que está em nosso controle, então acredito que cabe a nós enquanto desenvolvedores, tentarmos contribuir ao máximo para que caso esses algoritmos sejam uma "referencia ao ser humano", que seja a melhor referência possível dele 😅.