A problemática é similar (se não idêntica) ao que já acontece hoje. A solução simplista q vc mencionou seguiria princípios utilitaristas:

De acordo com o utilitarismo as consequências das ações morais devem ser compreendidas como essenciais na tomada de decisão de como o indivíduo deve agir. Inspirado nas éticas hedonistas (que associam a moral ao prazer), o utilitarismo defende que o agir ético deve visar garantir a felicidade do maior número de pessoas possíveis (princípio de utilidade), mesmo que para isso tenha que sacrificar a minoria.
Ref

Inclusive tem um jogo muito massa (de assistir até), chamado Trolley Problem Inc, que discute esses problemas baseado em várias ramificações do dilema do bonde.

Acontece que por mais que as IAs avancem até o ponto de só existirem carros autônomos, o ser humano replica os vieses, problemas e até preconceitos nas tecnologias que produz. Um exemplo disso é o representado no documentário coded bias, no qual o reconhecimento facial não funcionava em pessoas pretas.

É uma pergunta sem resposta, mas muito interessante de se pensar.