Algoritmos de Destruição em Massa - Sugestão de leitura
Recentemente, li um livro chamado "Algoritmos de Destruição em Massa" da Cathy O'Neil. O livro oferece um olhar assustador sobre como os algoritmos estão regulando as pessoas. Ao sabermos que decisões estão sendo tomadas por modelos matemáticos. Em teoria, isso deveria nos conduzir para um pensamento de justiça pois todos são julgados de acordo com as mesmas regras e o preconceito é eliminado. Entretanto, parte dos modelos usados hoje são opacos, não regulamentados e incontestáveis, mesmo quando estão errados. O mais preocupante é que eles reforçam a discriminação, e a autora utiliza de diversos casos reais para dissertar sobre isso.
O caso que mais me chamou a atenção, foi os mais de 200 professores de escolas públicas que foram demitidos por volta do ano de 2009 em Manhattan por um algoritmo que analisa o desempenho dos alunos. A causa era justa: melhorar a qualidade de ensino em escolas, expulsando os professores mal qualificados. E por serem julgados por uma IA, a decisão seria neutra e não haveria "coleguismo". O problema é que é absurdamente difícil parametrizar todos os motivos que causam a nota baixa de um aluno (familiares e psicológicos por exemplo) e demitir os professores foi solução ineficaz. Isso pois, a partir de tal, os professores passaram a rasuzar provas de seus alunos, diminuir a dificuldade de provas, além de "passar alunos" de série. Isso não só prejudicou ainda mais a educação nas escolas públicas, como aumentou a desigualdade, dado que professores bons de escolas públicas (geralmente frequentados por pessoas de baixa renda) foram contratados em escolas particulares (média/alta renda).
O motivo deste caso me chamar muita atenção, é porque vivemos um sistema parecido aqui no Brasil. Para quem estuda(ou) em escola pública, sabe que o caráter de classificação em escolas está relacionado a quantidade de aprovações e não em conteúdos abordados em cada disciplina. O que faz com que as escolas estejam cada vez mais preocupadas em ter o maior número de aprovações, e facilitando de modo que pessoas "passam" de série sem dominar determinados assuntos elementares
O livro cita diversos outros casos, que mostram o quanto devemos tomar cuidado com esses algoritmos, que já estão presentes em diversas áreas, e como elas criam um "coquetel tóxico" para a democracia.
ISBN (EN): 0553418815
ISBN (PT-BR): 6586460166