Tem um caso bem conhecido que provavelmente todos que estudaram o assunto já ouviram falar. Se você resolve utilizar uma inteligência artificial para aumentar e diminuir o policiamento em diferentes regiões, ou mesmo para julgar crimes, o que você acha que a inteligência artificial fará? De forma geral, reforçará os extremos: se mais negros são presos, então devem ser "observados mais de perto", e se poucos brancos são presos, então não precisa gastar tanto recursos policiando brancos.
Eu busquei algumas referências sobre essa questão e encontrei as seguintes, em inglês:
- Machine Bias: esse artigo compara os resultados de uma inteligência artificial sobre avaliações de risco criminal de indivíduos, por exemplo:
- Crime Prediction Software Promised to Be Free of Biases. New Data Shows It Perpetuates Them: artigo similar ao anterior, mostrando o impacto de um software utilizado para predição de crimes sob a população branca, negra e latina nos Estados Unidos.