ORM, como qualquer outra coisa em tecnologia, tem seus prós e contras (ver também aqui).
O mais importante (muito mais do que pedir opiniões de pessoas aleatórias na internet) é entender muito bem as vantagens e desvantagens, e avaliar caso a caso. Não sabemos o tamanho/escopo do seu projeto, os requisitos, quais tecnologias vc já sabe usar e quanto tempo tem pra aprender coisas novas caso necessário. Sem saber disso, qualquer resposta será chute, geralmente baseado em preferência pessoal (e coisas que podem ser boas pra mim, mas não necessariamente pra vc).
Sei que dá muito mais trabalho estudar o assunto a fundo, e muita coisa só vem com a experiência, mas é a resposta mais honesta que posso dar. Já trabalhei em projetos com e sem ORM, e o máximo que posso dizer é que nem sempre vc precisa (assim como qualquer coisa em tecnologia). Ele ajuda em algumas coisas e atrapalha em outras. Ele pode ser uma mão na roda, ou um canhão pra matar mosca.