Se você está iniciando pode ser complicado ir direto para o Docker, outro ponto é o que ele consome muitos recursos e não sei se é uma boa usá-lo apenas servir projetos estáticos.

É possível atingir seu objetivo de ter vários "sites" rodando na mesma instância usando apenas o Nginx.
Basicamente você precisa de múltiplas entradas de server {...}, em cada uma você pode adicionar domínios diferentes ou subdomínios no "server_name", como blog.meusite.com, app.meusite.com, etc. Em seguida aponte para o respectivo diretório.

Boa sorte!