XGBoost - Vilão, Salvador ou nenhum dos dois?

Eu tento com certa frequência utilizar modelos de machine learning mais "simples" como regressão logística e etc. como primeira opção antes de utilizar mais complexos como Random Forest e XGBoost...

Só que o XGBoost é extremamente flexível até para lidar com overfit e datasets desbalanceados, porém vejo que muitos aplicam esse modelo de maneira "cega" como se fosse só apertar um botão.

E vocês o que acham sobre isso?

Quando temos variáveis preditores relativamente ruins, paramos por aí ou tentamos salvar com um modelo mais complexo?

XGBoost - Vilão, Salvador ou nenhum dos dois?