Voce pode restringir o acesso as suas APIs do Firebase, configurando no console do Firebase o SHA1 do seu APP. Aqui tem um guia prático de como fazer.
Além disso, é interessante também injetar a API KEY no seu projeto na CI, evitando assim que você precise expor ela no repositório. Da pra fazer isso usando o Gradle e o Github Actions.
Usar ofuscadores como o Dexguard ou o R8 por exemplo também ajuda, mas não são uma solução definitiva.