Você pode criar regras de segurança. Por exemplo, você pode limitar o acesso a pessoas autenticadas, ou apenas para o criador do arquivo.
Também pode usar o AppCheck para garantir que as requisições venham da sua aplicação.
Da para diminuir os riscos, mas sempre existe a possibilidade de algum abuso de gente má intensionada.