Então, umas das coisas que não concordo do GetX também é que tudo está em um lugar só, ai realmente confude.

Porém como a pprópria documentação diz:

GetX não está inchado. Ele possui uma infinidade de recursos que permitem começar a programar sem se preocupar com nada, mas cada um desses recursos fica em containers separados e só são iniciados após o uso. Se você usar apenas o gerenciamento de estado, apenas o gerenciamento de estado será compilado. Se você usar apenas rotas, nada do gerenciamento de estado será compilado.

O ponto é que você tem que observar as importações, no caso se você for só utilizar o gerenciador de estados, precisa importar os arquivos apenas para isso para que na hora da compilação não venha todo o restante...

Nós sempre falamos isso na nossa empresa, o GetX não é tão 'acoplado' como muitos dizem, porém realmente é necessário estudar ele com mais cuidado, para não aprender de forma errada.