Bom dia!

Não conhecia o projeto, animal!
Siim, penso que seria legal ambas as abordagens, pois dependendo da maquina usada e o modelo rodar localmente pode ser mais complicado e demandar algum tooling a mais. Mas seria uma otima sim, penso em alguma maneira ali na UI de indicar se sera usado Open AI ou se sera usado um modelo rodando localmente, ou mesmo uma outra API.

Apenas o inicio, da para ir evoluindo nesta direcao sim, colocarri no readme como parte do roadmap.

Muito obrigado por compartilhar e a sugestao