Cara, estagiei em uma empresa que faz exatamente o que você está querendo fazer.
VM Tecnologia

Eles trabalham com solução de pagamento de Vending Machine e tecnologias de auto atendimento. Pelo que eu sei, eles utilizam um OS próprio em um dos equipamentos dele. Além disso eles fazem a integração da parte eletrônica.

Fazendo uma busca rápida, percebi que existe APIs que as próprias marcas de maquininha utilizam. A Stone por exemplo tem uma documentação da própria API no site deles.
Doc Stone

Edit: Caso queira realmente abrir um negócio, recomendo contratar soluções prontas. O desenvolvimento de uma tecnologia proprietária é muito caro. Caso queira aprender, vá em frente que tem muita coisa pra aprender hahahaha