Já ouviu falar em observabilidade? É um termo mais falado em grandes empresas que precisam monitorar ativamente seus sistemas, trabalhei em um projeto implantando a stack da Elastic (Elasticsearch, Kibana e Logstash) junto com vários outros beats e features da stack da Elastic. É possível subir tudo via Docker e é um sistema bem parrudo, recomendo fortemente testar e ver se é viável pois tem uma curva de aprendizado considerável, existem outras alternativas como New Relic, Datadog, Grafana e Prometheus, enfim, tem muita coisa mas eu não posso dar opinião do que não usei, segue algumas dicas:

• Utilize agentes de APM (Application Performance Management), usei Elastic APM mas tem diversos, eles coletam informações das requisiçÕes HTTP, tempo de resposta e uso de recursos e pode até ler as chamadas para banco de dados e outros serviços.
• Algumas aplicações geram muitos (muitos) logs, que acabam perdendo "valor" com o tempo, você pode fazer um tratamento nos dados para manter um certo histórico ou média passada para fins de comparação, mas cá entre nós, não precisa salvar os dados de requisição 200 do fulano de 3 meses atrás..
• Cuidado ao salvar os dados, principalmente envolvendo requisições, podem haver mais dados sensíveis em bancos de logs do que no próprio banco de dados.