Muito obrigado pelo post! Li todo e achei super interessante.
Não sei bem o contexto e qual o nível de complexidade a IA está tendo que lidar no seu caso, cada caso é um caso, mas a ideia de rodar uma instancia própria do modelo de IA é bastante válida. Os modelos de IA generativas de textos hoje estão bastante otimizadas e tem modelos excelentes que podem rodar com pouquíssima exigência de máquina.
Mas novamente, cada caso é um caso, pode ser que pela demanda, complexidade de mensagens, tempo de desenvolvimento e diversos outros fatores seja mais vantajoso usar a API da OpenIA mesmo.
Conforme explicado anteriormente, o sistema verifica a sessão do contato e caso a sessão esteja como chat_ai = true, então todas as próximas mensagens são enviadas para o ChatGPT e a resposta retornada ao contato. O fluxo (citado anteriormente também) é quem controla quando um contato deve conversar com o sistema de regras, com o ChatGPT ou com um atendente humano.
Isso é automatizado ou manual? Vocês implementaram algum fluxo automatizado para identificar se a API de integração ta funcionando normalmente?