Não existe um número mágico. Claro que se vc pesquisar por aí, vai encontrar um monte de gente afirmando que o tamanho ideal é "no máximo X kilobytes", mas não é uma regra universal.

Claro que o ideal é que não fique enorme, mas quanto é "enorme"? O "senso comum" é que não passe de "alguns kilobytes", mas de novo, não tem número mágico, depende de uma série de fatores, incluindo até a velocidade da Internet dos seus usuários (se a grande maioria não sentir nenhuma lentidão ao carregar o site, poderia considerar que o tamanho dos arquivos está satisfatório, por exemplo).

Se vc está com uma sensação ruim de que está muito grande, talvez precise revisá-lo, ver se tudo ali é realmente necessário e se não tem outra forma mais simples de obter o mesmo resultado. Claro, estou chutando porque vc não deu mais detalhes.

Procure também por minificadores. Aliás, o outro comentário citou SASS, que também gera CSS minificado.