JAN é uma alternativa ChatGPT de código aberto que funciona 100% offline no seu computador (Open Source)

o Jan roda em qualquer hardware. De PCs a clusters multi-GPU, Jan oferece suporte a arquiteturas universais:

• Nvidia GPUs (fast)
• Apple M-series (fast)
• Apple Intel
• Linux Debian
• Windows x64

Jan é uma experiência de usuário perfeita que roda em seu computador pessoal, que une as diferentes peças do ecossistema de IA de código aberto para fornecer uma alternativa à plataforma fechada da OpenAI.

Construímos uma plataforma abrangente e integrada que cuida das tarefas técnicas em toda a pilha necessárias para executar IA de código aberto
Executamos em cima de uma pasta local de arquivos não proprietários, que qualquer um pode mexer (sim, até mesmo outros aplicativos!)
Fornecemos formatos abertos para empacotamento e distribuição de IA para execução reproduzível em dispositivos

Qual é o seu principal interesse em executar um LLM local em vez de usar uma API

Confidencialidade (desejo preservar a privacidade, evitando o registro e revisão indiscriminada das interações, mesmo fora do escopo de treinamento do modelo. Caso eu aborde questões sensíveis ou compartilhe ideias proprietárias, prefiro manter tais informações "internas", por assim dizer).

Adaptabilidade e Personalização (é crucial ter a capacidade de realizar ajustes personalizados para dados específicos conforme minhas necessidades evoluem ao longo do tempo. Essa flexibilidade é mais acessível com Linguistic Models Locais (LLMs). Além disso, cada ajuste específico no Llama2 possui características únicas que se alinham de maneira excepcional com meus requisitos. Desenvolver um assistente que se assemelha verdadeiramente à interação humana é um objetivo, e observo que meu colega, que utiliza o ChatGPT, expressou surpresa com a autenticidade do meu assistente ao reescrever textos, em comparação com as respostas do ChatGPT, mesmo em solicitações detalhadas).

Estabilidade (a qualidade do ChatGPT está sujeita a flutuações constantes devido às alterações frequentes no backend, muitas vezes implementadas para combater o uso indevido ou obsceno dos modelos. A incerteza sobre a consistência do desempenho, especialmente em relação a habilidades específicas, como javascript, hoje e sua garantia para o futuro, é uma preocupação legítima. Essa incerteza não se aplica da mesma forma ao meu modelo, oferecendo uma estabilidade mais previsível).