De fato é uma preocupação a ter considerando o grande boom que essses sistemas tiveram recentemente principalmente por conta do ChatGPT, mas ao mesmo tempo não sei se isso deveria cair já no campo de uma legislação, se tratando de crianças, acho que os próprios pais deveriam ter esse tipo de controle do que a criança tem feito.

Acho que o básico eles já estão fazendo que é disponibilizar esses tipos de sistemas através de listas de esperas e seleções mais consideradas de usuários.

O ChatGPT apesar de não ter uma lista de espera tem um ótimo controle de coisas que podem ser ofensivas ou não e geralmente gera um aviso sempre que o prompt é tendencioso pra esse lado mais perigoso.