Vi no canal do Samuca, que só o ambiente java consome 4 GB de RAM, então faltará RAM para as outras funções. Essa sua configuração já está no limite de uso, não creio que irá melhorar o desempenho só abdicando da IDE.