Eu ouvi algum episódio do Naruhodo (podcast de ciência bem bacana) que foi uma entrevista com uma pesquisadora de IA (Inteligência Arificial) e ML (Machine Learning).
Ela estava falando sobre alguns causos que ela já viveu, um dos exemplos foi o de uma empresa que tentava avaliar a gravidade de doenças a partir de alguns dados. A empresa era estadounidense e por isso devemos considerar o demográfico de lá. A empresa utilizava uma variável no treinamento que era o quanto a pessoa desenbolsava no tratamento para calcular a gravidade da doença.
Resultado, alguns tipos específicos de melanoma, como casos que acontecem na sola dos pés e na palma da mão eram classificados como menos graves do que outros. O motivo? Pessoas negras tendem a ter câncer de pele nessas regiões, pessoas negras nos EUA tem menos poder aquisitivo, logo gastam menos dinheiro nos tratamentos por restrições financeiras e não por uma questão de ser uma doença menos grave.
Moral da história, se tivesse um bom sociólogo ou um bom estatístico nesse time, provavelmente teriam pegado a falha de raciocínio e corrigido esse parâmetro.
Temos que entender que daqui a pouco vai ser crucial times multidisciplinares para a criação de ferramentas que usam ML ou IA pra evitar erros como esse. Erros que podem acabar custando a vida das pessoas.
Acho muito legal ouvir esse episódio (Entrevista 01 - Nina da Hora), essa cientista é uma mulher maravilhosa!! O conhecimento que ela compartilhou no episódio é muito relevante pra todos que trabalham com dados no geral!