Eu não sou especialista no assunto, e usar errado é muto fácil, a não ser que copie extamente o que alguém já fez certo e não mude nada substancial. Eu quero parar para estudar mais, mas não tenho conseguido encaixar.
Entenda que não é tão simples usar, mesmo que pareça. Eu mesmo uso pouco, até pelo que eu costumo fazer.
Você tem razão que há muito abuso no uso.
Vou deixar alguns links onde eu respondo sobre isso e acho que daí pode pesquisar mais.
Há um custo de cuidar do assincronismo. Ele sempre terá menor eficiência e gerará maior custo para processar. Ele serve para não deixar esperando. Esse custo compensa se ele acabar permitindo o uso concorrente de algo que ficaria parado esperando. O que demora muito pouco tem uma perda menor do que o mecanismo de troca dos contextos de execução. Essa troca não é trivial mesmo que você não esteja vendo.
O uso errado pode trazer o pior dos dois mundos, fica esperando e tem o custo de grenciar isso. Mas aí acho que não é a dúvida. De qualquer forma tem link sobre isso nos links que eu passei.
Faz sentido para você?
Espero ter ajudado.
Farei algo que muitos pedem para aprender a programar corretamente, gratuitamente. Para saber quando, me segue nas suas plataformas preferidas. Quase não as uso, não terá infindas notificações (links aqui).