Vamo lá:

• Existe um sistema operacional? Sim, inclusive as mais modernas hoje rodam Android, as antigas não tenho certeza de qual é o sistema operacional.
• Usualmente, as aplicações são escritas em quais linguagens? Por se tratar de Android, pode usar qualquer coisa que rode em Android.
• Existe um cartão SIM (4G como nos telefones) dentro da maquininha? É possível o uso delas via Wi-Fi? Existe sim, a maioria das maquininhas possui Wi-Fi, a maioria também tem suporte para cartão SIM e algumas podem se conectar no seu celular por bluetooth com alguma aplicação e utilizar a conexão dele para enviar a transação.
• O protocolo de comunicação entre a maquininha e os servidores segue algum padrão específico? Nada muito diferente, não existe nenhum padrão pra isso, o pessoal só tenta deixar a comunicação o mais rápido possível e o payload o menor possível por se tratar de um hardware que não é super potente.