Sim, resposta honesta. Em geral vemos muitas respostas que não são honestas, não porque a pessoa está mentindo, mas ele tem uma visão limitada do uso, até msmo ingênua sobre as vantagens e desvantagens.
Minha percepção vendo muita coisa por aí é que a adoção do ORM ocorre de forma mais equivocada do que o não uso dele. Não que sua adoção seja equivocada, mas a forma que adotam é equivocada, muita vezes sem base real, o fundamento da pessoa é uma resposta sem base de outra pessoa, e isso é sempre errado, até quando por coinicdência dá um resultado razoável.
Geralmente, mas não sempre, só adota fazer acesso pela API do banco de dados com se aprofunda um pouco mais e toma uma decisão mais embasada, até mesmo pode ser o uso do ORM.
Vejo muitos argumentos que o ORM faz isso e aquilo, quando na verdade ele não faz, pelo menos não melhor do que fazer sem ele, o que pode inclusive dar uma impressão errada do que está fazendo, em alguns casos falsa sensação de segurança.
Eu tendo a dizer que se a pessoa não souber programar é melhor ela usar ORM, mas esse é um argumento falho, em alguns casos pode ser pior. Isso funciona na teoria, mas já vi casos práticos que a pessoa se enroscou mais com ele. E se não o dominar muito bem o desemepnho vai sofrer, não tenha dúvida. Só precisa ver se isso importa ou não. Os casos mais simples pode não fazer diferença importante, ainda que mensurável.
Farei algo que muitos pedem para aprender programar corretamente, gratuitamente. Para saber quando, me segue nas suas plataformas preferidas. Quase não as uso, não terá infindas notificações (links aqui).