Você precisa de dados para entender a situação.

Será que é o excesso de usuários ou uma requisição específica que está consumindo muito recurso (memoria) e seu servidor acaba passando a usar o swap?

Faça o log de todas as requisições, jogue numa planilha e veja quais requisições tomam mais tempo, aí você vai debugar em cima delas se há algo errado.