Meus 2 cents: As IAs trabalham por tokens, entao, porque nao armazenar direto os · Oletros

Em resposta a [Brainstorm] Compactação de dados com hexadecimal semantico

Meus 2 cents:

As IAs trabalham por tokens, entao, porque nao armazenar direto os tokens ao inves das sentencas ?
Caso queira seguir direto na questao do "hexa semantico", talvez um caminho seja tranformar as sentencas em seu equivalente fonetico - o que ganha um extra que pode ser utilizado com qualquer lingua (mais ou menos, mas voce entendeu)

2.1. tambem poderia ter algum ganho aqui usando dicionario e compactacao zstd

 OBS: um pouco mais sobre compactacao usando dicionarios aqui:

https://www.debugbear.com/blog/shared-compression-dictionaries

Como lida com IA, talvez dar uma checada em "taxonomia de bloom" para tentar algum insight diferente.

Madrick

11 dias atrás

Cara eu cheguei a olhar taxonomia de bloom antes de responder e eu nem sabia que isso existia, confesso que pensei em tokenizacao mas o que me limitou a respeito disso é meu próprio conhecimento, apesar de entender, eu nao sei na pratica como a tokenizacao funciona entao pensei mais como uma linguagem humana mesmo, como temos portugues e temos dicionarios e recursos, essa foi a ideia. Honestamente eu nao sei se o resultado dessa pesquisa seria positivo ou negativo, mas foi a ideia que eu tive pra me envolver com pesquisa pela primeira vez na minha facool, parecia promissor.