Opa, tudo bem ? Algumas coisas que eu olharia.

Começaria pelos logs do "/var/log".

Outros pontos:

• Sistema tem espaço livre ?
• A parte de "inode" está ok ?
• Uso de recursos, já verificou uso de cpu com "top/htop" e o loadaverage do servidor ?
• Quando faz o restart do serviço do ssh via systemctl é exibido algum erro ?
• No pc que está se conectando ao servidor testa o "ssh -vvv ..." para que tenha uma saída mais detalhada e possa saber se o cliente ao menos chega na porta 22 do servidor.
• Validou as configurações testando o ssh local no servidor com "ssh user@localhost" ? Se nem isso funcionar então tem algo de muito errado com as configurações.