Problema senior com o Visual Studio C#

Olá, amigos preciso de ajuda com o Visual Studio.

Seguinte, a empresa para qual trabalho possui um sistema ERP legado enorme em C# e ela faz personalizações para os clientes, com cadastros processos etc.

Foi decidido que o projeto principal junto com as personalizações ficasse na mesma solução, fazendo com que o build demorasse bastante. (O código fonte está com quase 5 gigas)

Uma solução que encontrei foi usar o Configuration Manager para remover os projetos específicos da compilação compilando só o necessário para o projeto principal sem os específicos.

O problema desse método é que eu travei nas referências já que o projeto principal tem os projetos específicos como referência.

Os pontos do projeto principal que usam os específicos eu vi que dá para “remover” via diretiva de compilação, mas por causa das referências do projeto principal aos específicos eles precisam ser compilados e como estão desativados a build no Configuration Manager eu travo novamente.

A ajuda que preciso é de uma forma de remover referencias de um projeto em tempo de build.

A única possibilidade que vi até agora foi tentar criar um plugin no visual Studio para isso.

Alguém já passou por isso? Me da uma luz ai T.T

Criar várias solutions não é uma opção.
Os projetos estão todos juntos porque o sistema é um ERP altamente integrado e não tem como mudar isso.