Bom trabalho!
Olha uma dica que pode pensar para futuras versões é integrar isso com hugginface, pois assim permitira inclusive colocar lá seus modelos e disponibilizar o client para acessar eles.
Em resposta a Criei um clone do Ollama, mas para clientes em nuvem
1