Realmente o armazenamento de arquivos na base de dados não é tão correto de se fazer, pela performace
Armazenar os arquivos dos usuarios separado da aplicação pode gerar uma certa segurança, pois os arquivos estão separados da aplicação, e só conseguem ser acessados apartir da aplicação
Você concentra o foco da segurança mais ali, e já tem a performace de guardar o arquivo separado do banco