É extremamente comum a pessoa fazer um teste e achar que porque funcionou está certo. Muitas pessoas brigaram comigo dizendo que está certo porque viram funcionar. Alguns até dizem que se usar double fica tudo bem porque ele pega um exemplo que o float dava errado e no double não dá mais. O float já é perigoso porque ele não mostra o erro de cara na maioria das vzes, o double esconde por mais tempo ainda. Erro bom é oque o compilador te dá ou no máximo o runtime tem dá com toda clareza na primeira execução.

Eu acho que linguagens mais modernas, algumas pelo menos, que assumem uma pegada mais comercial, mais ainda as que usam um tipo numérico universal, deveriam ter um tipo decimal como padrão e quem sabe ter um de otimização de ponto flutuante binário, já ajudaria muito.

Ao contrário da crença popular algumas implmentações de decimal são tão ou mais rápidos que o binário em boa parte das operações.