Não tem como, sobre o firebase você tem as regras de segurança e uma whitelist de domínios.

Agora uma API_KEY que não possui uma maneira de defende-la, você pode rodar no servidor e atrelar a um route/controller.