Uma ferramenta excelente que uso é o ncdu (no ubuntu: apt install ncdu).

Dá pra navegar entre todos os diretorios vendo o tamanho de cada um, e assim ir caçando aqueles arquivos maiores.

ncdu /