Resposta:
Coloquei meu projeto para executar e utilizei um comando no cmd dentro da VM tscon rdp-tcp#0 /dest:console
, após executar esse comando você será desconectado, mas o teclado e o mouse funcionarão normalmente.
Confira aqui: https://learn.microsoft.com/en-us/answers/questions/1086036/is-it-possible-to-have-a-virtual-mouse-or-keyboard