O Express não é um framework: Ele é uma biblioteca que facilita lidar com a API HTTP do Node. Geralmente frameworks costumam ser opinionated, que basicamente significa de que eles impoem um modo de uso sobre o seu fluxo de desenvolvimento. Se quiser usar algum Framework pra construir APIs, eu recomendo o NestJS, ele sim tem esse aspecto onde eles te forçam a seguir uma certa fórmula pra construir uma aplicação, que dá o benefício de ter um código mais consistente e com uma arquitetura já testada e validada pelos usuários do framework.