Por isso a importância de ter um sistema de trabalho usando técnicas e ferramentas variadas.
Por exemplo, Google Gemmini com maior janela de contexto e usando outras ferramentas e técnicas específicas para esse propósito (ex: LongRoPe).

Ficar dependendo apenas e somente de simples
chamadas de API a uma determinada ferramenta (OpenAI, Anthropic ou Google) , você está completamente correto!
Mas entendo não ser essa a resposta/método.

Mas veja, longe de mim querer trazer aqui a bala de prata que resolve tudo.

Acredito que existem muitos cenários e características de projeto onde não usar GEN-AI é não abraçar oportunidades. Da mesma forma, outros cenários talvez, e reforço aqui o talvez, não tenha como aplicar integralmente GEN-AI.

O resumo do que pretendo dizer é:
Não há uma forma estática de usar isso! Precisa adaptar a cada cenário para tirar o máximo de proveito.