Uaaauu! Que texto sensacional :D
Eu to criando uma aplicação usando a API do ChatGPT e percebi o mesmo problema que mencionasse de a API da OpenAI demorar muito para ser chamada enquanto o espaço em memória utilizado pela requisição é beeeem baixo.
Eu to usando o AWS Lambda, que permite ter uma bom limite de requisições gratuítas, mas nunca tinha parado pra pensar tanto sobre o custo de tempo de requisição. Eu não acho que tenha sido uma má escolha usar Serverless, porque permitiu eu de forma bem rápida construir o que precisava e integrar com a API da OpenAI.
E eu também havia reparado no problema de as atualizações e a documentação sobre a API da OpenAI parecem vir primeiro para ecossistema Python do que o Node.js. Tanto que a funcionalidade de Streaming, não está disponível na biblioteca oficial da OpenAI de Node.js, existindo apenas na de Python.
Me desse uma ideia interessante agora sobre a questão de dividir a API entre uma com Node e outra em Python, onde a que utilizaria Python, seria uma dedicada a integração com a OpenAI e a um servidor que os preços não cobrem por tempo de utilização ou que pelo menos cobrem mais barato. Enquanto uma outra para manter em Serverless, que realmente precise ser rápido.
Aliás, chegasse a dar uma olhada no Railway? Já havia ouvido falar do Render, mas não sei se em relação a custo-benefício acabasse percebendo que o Render era a melhor opção entre outras. Adoraria saber sobre isso =)
Além disso, to usando uma infraestrutura parecida com a sua, onde também uso o Firestore como DB, porém fiquei pensando se era uma decisão boa a longo prazo, se não seria melhor já colocar essas informações num MongoDB para que pudesse escalar de uma forma que não gastasse tanto dinheiro quanto deixando num Firestore da vida. Mas no meu caso eu pensei bastante em um estratégia de Offline-App, onde a maior parte das coisas ficaria salvo num banco de dados local ou cache do Aplicativo, e atualizaria com algum tipo de evento, como uma adição ao Banco de Dados remoto.
Post muito massa! É bom ver algo que fuja do padrão "IA vai roubar emprego" ou "IA é maligna".