Salve, @NathanFirmo!

A sua pergunta é muito boa, e ela dá pano pra manga fazem mais de 40 anos já. Você já ouviu falar do "Quarto chinês"?

A ideia dele é assim: imagina que vc está em um quarto, e que vc recebe cartas por um pequeno buraco pela porta. As cartas estão em chinês (ou em qualquer outra língua que vc não domine). No quarto, existem prateleiras com vários livros que te dão instruções exatas a seguir, dependendo dos símbolos que vc vê na carta. Daí, vc escreve novos símbolos em outro papel e envia pelo buraco na porta.

Pra uma pessoa que fala chinês do lado de fora do quarto, a impressão é que quem está dentro do quarto domina a língua. De certa forma, esse sistema até permite que quem esteja dentro do quarto passe pelo "Teste de Turing" (já viu o filme "O Jogo da Imitação"? - super recomendo!)

Este exemplo é importante para a Computação porque é exatamente isso que o processador faz: ele recebe sinais dos periféricos, checa instruções na memória, e envia sinais para os periféricos de volta. No exemplo do quarto chinês, o "programador" é aquele que escreve os livros com as instruções pra responder as cartas.

No caso das IAs, o que fazemos é criar um sisteminha que vai escrever os livros por si só, dandos milhares de "bons" e "maus" exemplos. As transformações que nos vemos hoje em dia mostram exatamente como esse conceito simples pode ser poderoso, mas alguns problemas também mostram que nós devemos ter cuidado pra não depender desses sistemas em situações de (literalmente) vida ou morte.

Depois de décadas de discussão, eu gostaria muito de dar uma resposta pra sua pergunta: "Quem define o que é um algoritmo inteligente?". Por mais potentes que os computadores sejam, eles ainda vão fazer exatamente o que está escrito nos livros, sem nenhum espírito crítico sobre as ações em si. Por outro lado, nós ainda nem sabemos como, nós, seres humanos, somos inteligentes (na maioria dos casos) e temos essa experiência consciente do mundo ao nosso redor.

O que nós podemos fazer no momento é gerar especificações do que é considerado satisfatório em cada aplicação, e classificar cada sistema baseado nessa escala de valor. Se um programa - IA ou não - atende aos nossos objetivos e melhora a vida de alguém, ele já contribui pra sociedade.