Acredito que nao seja algo tão seguro, já que é facilmente possível manipular um dispositivo para utilizar um determinado número de IP ou ser compartilhado por varios usuários.

Não é bem assim, você não pode fingir ser o IP que quiser. Lembre que estamos falando de IP publico, não IP local.

Por exemplo, já desenvolvi sistemas que embora hospedados na nuvem, só podem ser acessados dentro da empresa do cliente. Essa segurança é feita primeiro na camada IP, onde o firewall nega qualquer requisição que não venha dos endereços autorizados. A segunda camada é um tunel VPN cujo o roteador da empresa está configurado para conectar e disponibilizar o acesso ao sistema.

Dessa forma o sistema não está publicamente acessível (nem para o IP autorizado), necessitando primeiro fazer o tunel VPN.