Pois é, tem linguagens que quando vc imprime o valor, ele acaba sendo truncado/arredondado e isso acaba mascarando o problema (e dando a falsa impressão de que ele "não existe").

É o que aconteceu neste exemplo que fiz em Python: o problema só apareceu quando fui usar o valor, seja fazendo cálculos, ou comparando com outro número. E para descobrir o que de fato acontece, precisei imprimir mais casas decimais.

Esse é o perigo de se fazer um teste simples e achar que tudo bem só porque "funcionou". O mais correto é consultar a documentação da linguagem: se lá é dito que ela usa números de ponto flutuante binários (e principalmente se citar a norma IEEE 754), então os problemas já citados podem acontecer sim. Pode não ter acontecido em um teste específico (ou o teste foi mal feito porque usou uma situação na qual a linguagem mascarou o erro), mas não quer dizer que nunca vai acontecer.