Você pode empurrar os logs da aplicação para o Datadog e fazer queries no log para gerar seus alertas.

Se a aplicação estiver na AWS, tem uma integração bem fácil com o cloudwatch.