Isso pode ser muito útil em ambientes de rede wifi instável (como hospitais, por exemplo).

Temos usados as LLMs (via API) como engines de comunicação (em que desprezamos as bases de conhecimento da LLM e somente utilizamos sua capacidade de comunicação humanizada). Nestes casos, modelos mais leves podem funcionar bem.

Um exemplo é a nossa Dotty (SAC de Inteligência Artificial). Vou testar nela e ver como se comporta.