Era o que ia falar.
Criar o set
faz sentido se vc vai fazer muitas buscas e/ou tiver muitos elementos, pois aí o custo de criá-lo se paga.
Mas se é só para uma ou poucas buscas (ou listas com poucos elementos), pode até piorar. Ou no melhor caso, tanto faz porque a diferença será irrisória e imperceptível - afinal, para poucos dados, tudo é rápido.
Dito isso, gosto da mensagem geral, de que conhecer as estruturas de dados é importante. Vejo muito código desnecessariamente complicado ou ineficiente por aí, simplesmente porque a pessoa está usando a estrutura errada.