Mais rápido não é questão de opinião, depende do que vc faz.

Toda estrutura de dados tem prós e contras (pode ser mais rápida pra algumas coisas e mais lenta pra outras).

Algumas serão mais rápidas pra inserir ou remover, outras pra buscar. Algumas não permitem elementos duplicados, outras mantém eles ordenados (e tudo isso pode influenciar na velocidade), etc

O que deve ser feito é conhecer bem cada uma e avaliar qual é a mais adequada para cada caso.