Acho válido dizer que não obrigatoriamente estamos falando Interfaces de Usuário ao falarmos de design pattern ou systems. Como você mesmo elencou ao enumerar as importâncias dos padrões de design, a maioria deles se refere a padronização, organização e mantenibilidade do código. E esse código pode ou não ser referente a uma interface. Você pode aplicar (e em muitos casos, deve) design patterns ao backend, em sistemas complexos de automação, até mesmo ao desenvolver IAs e outros projetos de ciência de dados.