Considerando que os modelos atuais chegaram a um ponto de estagnação, seja por escassez de novos exemplos (como são chamadas os dados de treinamento) ou por limitações tecnológicas, talvez fosse o momento de criar modelos por contexto, como fazemos na vida prática (consultores em engenheria, mecânica, as diferentes especializações médicas, psicólogos etc). Esses modelos são especialistas mais eficazes, como a própria matéria apontou no caso do jogador de pôker. Nessa nova situação, modelos de entrada decidem qual sub-modelo consultar. No caso de intersecção de contextos, um modelo de saída avaliaria a combinação de inferências para gerar uma única resposta ou apresentar algumas respostas para que o usuário exerça seu poder de escolha. Perguntas idênticas, geram a mesma resposta todas as vezes?

Dizem que "o pato voa mal, anda mal, nada mal" semelhante a alguém que sabe um pouco sobre várias coisas, não se destaca em nenhuma delas. Em caso semelhantes, a versatilidade é vista como um defeito. (anônimo)

A citação acima faz muito sentido no caso dos modelos GPT gigantes, considerando a eficiência nas etapas de treinamento e inferência.