Aparentemente você não vai precisar copiar o conteúdo de cada "sub docker-compose".
Nesse link eles tratam da funcionalidade "extend" do compose.
https://stackoverflow.com/questions/55650342/import-docker-compose-file-in-another-compose-file/55652819
Então ficaria algo assim no seu primeiro projeto
services:
nginx_a:
image: nginx:latest
container_name: nginx
ports:
- 81:80
- 1443:443
E no seu diretorio raiz:
services:
nginx_projeto_a:
extends:
file: projeto-a/docker-compose.yml.yml
service: nginx_a
nginx_projeto_b:
extends:
file: projeto-b/docker-compose.yml.yml
Testa ai e lembra de dar um feedback aqui se funcionou ou não!