Esse artigo da Digital Ocean pode ter dar uma boa noção. No entanto ele não está usando containers, Mas no geral ao invés de usar o runserver você usa o gunicorn. é na parte do nginx é só apontar para o container/porta.
no final achei esse artigo que dá um exemplo com tudo rodando full docker.
Eu geralmente uso tudo igual ao segundo artigo, com exceção ao Nginx que eu prefiro que rode diretamente na VM.