Se um terceiro consegue acessar o Refresh Token de um usuário, sua aplicação tem problemas muito maiores do que apenas impedir que esse terceiro consiga se passar por um cliente.