Sim; pode fazer tudo por ssh, sem ter uma placa de vídeo.
Porém; será difícil você instalar o sistema operacional sem uma placa de vídeo, muito antigamente isso era mais comum, direcionado o stdio para uma porta de comunicação.
Respondendo a "massa demais esse projeto, é algo que pretendo..." dentro da publicação Montando o meu Servidor Caseiro
1