Barba, ótima pergunta e nós estamos na mesma situação aqui no TabNews, dado que o repositório é open source.
Eu acredito que no nosso caso o saldo seja positivo, porque estamos facilitando que seja encontrado brechas de segurança tanto para pessoas mal-intencionadas, quanto pessoas bem-intencionadas, e como o projeto tem uma certa popularidade, há uma chance de esbarrar em pessoas bem-intencionadas, onde se o projeto não fosse open source, estas pessoas bem-intencionadas não teriam como contribuir (a não ser que você tenha programas de bug bounty em plataformas como HackerOne, mas é uma operação extremamente cara).
A questão é que você precisa ter um objetivo na escolha de disponibilizar o projeto open source, e tentar atingir esse objetivo. Como esse código faz parte de um serviço sério, não deixe o projeto aberto só por deixar.