Isso!

O problema é que hoje se o algoritmo bom demora 0,000001 segundos e o ruim demora 0,0001 segundos, ambos serão considerados rápidos e a diferença é imperceptível (mesmo que o ruim tenha sido 100 vezes mais lento). Mas a pessoa não leva em conta que só rodou o código com poucos dados (e para poucos dados, tudo é rápido).

A pessoa só vai perceber a diferença se por um acaso tiver que rodar esse mesmo algoritmo com uma quantidade absurdamente grande de dados. Aí o algoritmo bom rodaria em 1 segundo, enquanto o ruim levaria 100 segundos (1 minuto e 40 segundos). Na verdade, provavelmente vai ser mais, porque algoritmos ruins costumam ter complexidade maior e o tempo aumenta exponencialmente.

Mas quase nunca se percebe isso, porque a maioria dos casos vai rodar com poucos dados mesmo.

O mesmo vale para gasto de memória. Hoje em dia RAM se tornou tão barato que ninguém parece se importar com desperdícios e alocação excessiva de memória (e as linguagens têm criado tantas abstrações que muito deste desperdício fica escondido e só é percebido quando é tarde demais).