Existem vários pontos na sua pergunta. Por definição, quando falo "API Privada" me refiro a uma API que é acessível pela internet mas não tem documentação.

Até onde se sabe, não possui uma API Pública.

Vários websites usam APIs para comunicar o front-end com o back-end, isso se tornou comum hoje em dia. Uma API Pública é uma API que é exposta e documentada para desenvolvedores externos conseguirem interagir com o seu app, porém a API do seu app não precisa ser exatamente documentada para você mesmo usá-la.

O que impede de usar uma API privada de um app?

Uma API usada num site várias vezes não tem nada que impeça você de acessá-la, pois seu navegador vai fazer isso ao usar o app, porém, por não estar documentada publicamente, a utilização será mais difícil, pode exigir alguma autenticação específica, acontecer alguma mudança que quebra os clients, retornar dados que não fazem muito sentido pela falta de documentação, abfuscar código do app e dentre muitas outras coisas podem dificultar alguém deusar uma API privada.

Tem como utilizar essa API? Como que faz para descobrir? Ou o que eu devo estudar para entender isso?

Sim, tem como. Usar uma API privada geralmente requer uma investigação para aprender como a API funciona, você pode fazer isso através de engenharia reversa no site ou app, analisando quais requisições o seu navegador faz, quais dados são enviados e quais dados são recebidos. Vale notar que acessar uma API privada sem autorização pode violar os termos de serviços do app.