Se seu objetivo é hospedar esses sites estáticos não precisa aprender docker por enquanto, com o nginx você consegue hospedar quantos sites quiser, da uma pesquisada em getting started with nginx é extremamente simples