Com ORM (Sequelize): Uma consulta simples pode levar algo em torno de 100ms devido ao overhead de abstração.
Não sei coo acontece no Node, não sou especialista nele, porém eu uso todo o poder do EloquentORM do Laravel e acompanho todas as queries pelo Laravel DebugBar para otimizá-las e evitar duplicação.
A minha query mais rápida leva 1.6 milisegundos, enquanto a mais lenta leva 5.9ms. Não sei do funcionamento em outras linguagens se o ORM é melhor ou pior, mas com PHP não tenho a necessidade nenhuma de utilizar SQL puro, inclusive é bem capaz da minha consulta sair menos otimizada do que a do Eloquent rsrs. Então esses 100ms estão pouco altos, não acha? Acredito que a infra seja mais preponderante nesse quesito do que o uso de ORMs.