Executando verificação de segurança...
18

🧶.xyz - ✨ Novidades

Hey pessoal, sou eu de novo!

Queria trazer algumas atualizações do Wool Ball e convidar mais devs para conhecer o projeto.

Então, para incentivar, estamos oferecendo um bônus especial para o TabNews: Crédito de $10.


✨ Novidades

Domínio

Mesmo que o nome do produto mude, achei justo adquirir um domínio bem barato para destacar o projeto de qualquer outro que mantenho.

Fiquei entre woolball.online e woolball.cloud, mas no final das contas considerei que o .xyz é bem simples e incorpora um pouco do nosso espírito de tentar manter as coisas simples.

🧶 woolball.xyz

Novo modelo de geração de texto

No último post, há 4~5 dias, mencionei a demora e baixíssima qualidade do resultado de modelos pequenos como o Llama-3.2-1B, que é estilo GPT.

Porém, um dia depois, o Hugging Face lançou um conjunto de modelos extremamente pequenos, dos quais este (https://huggingface.co/HuggingFaceTB/SmolLM2-360M-Instruct) apresentou um resultado muito bom em velocidade e qualidade de resposta.

Em breve será possível interagir a nível de Instruct, porém, a priori, o prompt está fixado da seguinte forma:

{ role: "system", content: "You are a helpful assistant." },
{ role: "user", content: prompt },

Outra restrição é que os modelos de geração de texto open-source normalmente são treinados na língua inglesa, sendo capazes de interpretar prompts em outros idiomas, mas frequentemente respondendo em inglês.

E aí, quem anima treinar um modelo? Não sei nem por onde começar!

Novas capacidades

Além de ajustar o modelo de text-generation, também adicionamos novas tarefas nas APIs e, consequentemente, no navegador dos usuários que cedem processamento:

  • NLP: Tradução
  • NLP: Classificação zero-shot
  • Visão Computacional: Emoções faciais

Ainda há realmente um mar de possibilidades a serem exploradas, e parte da energia está voltada para implementar a capacidade de gerar imagens a partir de texto, previsto desde o início.

Stable Difusion Turbo no Chrome

Próximos passos

Depois de 4 dias maratonando a Y Combinator School e aplicando uma boa dose de bom senso, concluí que os próximos passos são de validação e entendimento da dor do cliente.

O grande foco será expandir para outros idiomas e buscar cada vez mais clientes reais que tenham apps/serviços em produção de alta escala, onde esse procedimento seria um divisor de águas na redução de custos.

Também penso em realizar iniciativas como hackathons, premiando com créditos e, eventualmente, fazendo parcerias com outros devs que possuem produtos sinérgicos.

Conclusão

Enfim, peço a ajuda de vocês com opiniões, críticas, sugestões, dicas, pix, xingamentos… Mandem o que tiverem!


Criei um espaço no Discord que gerencio para discutir o Wool Ball. Convido vocês: 🧶 discord

Resgate: 🧶 $10

Conheça melhor a iniciativa em: 🧶 Guide

Carregando publicação patrocinada...
2

Cara, que ideia legal!!

Me recordod e um projeto que eu ia fazer parte uma vez. Era um jogo gratuito em que a monetização seria feita com o navegador do jogador minerando bitcoin (obviamente com autorização e conhecimento).

SObre segurança, haveria algum risco para quem está fornecendo o navegador como recurso? Como você lida com a segurança para eles.
Penso em algum caso de execução de script, já que um atacante pode enviar um texto contendo um código na tentativa de ele ser executado em algum lugar.

1

Salve, valeu pela pergunta!

Acredito que o ambiente do navegador já provem uma camada de segurança aceitável a ponto de não precisar de um tratamento a mais.

1

Uma dúvida, pretende que o usuário suba uma ia qualquer do huggiefaces?

Outra dúvida, pode linkar na página principal a fonte do modelo que esta usando, tentei pesquisar direto no google, mas aparece vários com nomes parecidos.

1

Interessante o projeto!

Como você lida com a segurança das informações que estão sendo processadas no navegador?

Em outras palavras, o que impede uma pessoa que está oferencendo o navegador de ver e/ou manipular os dados que estão sendo processados?

2

Excelente pergunta!

Ainda não pensei em uma estratégia sólida, mas o básico a ser implementado é descriptografar a entrada e criptografar a saída o mais proximo da execução do modelo.

As tecnologias WebML têm uma grande ênfase na privacidade, mas acho que não pensaram nesse caso de uso.

De qualquer forma, não investi nenhuma energia prática aqui, até pra acelerar o lançamento e manter a latência baixa.

Sei que isso vai se tornar vital para o mundo real, ao mesmo tempo quero entender se isso é um serviço obrigatório, ou se por exemplo algumas empresas abririam mão da criptografia por + velocidade e - preço.

Agora, sobre evitar manipulação dos dados retornados, tenho tentado me inspirar no blockchain pra captar algum conceito ou tecnica, mas a priori não consegui idealizar uma estratégia 100% eficaz.

Uma alternativa cara e não performática é analisar com uma llm (seja em outro navegador ou no servidor) se a resposta e o input combinam, ou pior ainda, disparar o input para mais de 1 cliente então pedir pra uma llm escolher dentre os resultados.

De qualquer forma é um ponto que precisa ganhar maturidade, obrigado por trazer a discussão!