São pouco utilizados pois os objetos padrões do javascript já tem propriedades que permitem que sejam usados como sets e mapas. Com limitações, claro, por isso existem o Set e o Map e sim ambos são utilzidos.
Eu pessoalmente sempre utilizo Maps explicitamente para 'tabelas' ao inves de usar objetos.