Foi veiculado há alguns meses aqui no Tabnews uma matéria que tratava a respeito · gpoleszuk

Em resposta a

Foi veiculado há alguns meses aqui no Tabnews uma matéria que tratava a respeito de uma nova estratégia de multiplicação-adição que prometia certa eficiência nessa área de Redes Neurais Artificiais (update: achei a referência). Infelizmente perdi a referência para citá-la aqui, mas caso eu me depare com ela novamente, volto aqui para atualizar esta postagem. Você, como entusiasta/pesquisador do assunto, saberia dizer se esses avanços já são explorados/possíveis nesses "GPU NVIDIA V100 Tensor Core"? Operações como produto de tensores exploram o extremo dessas multiplicações e somas das hipermatrizes que contém os pesos da rede, certo?

"GPU NVIDIA V100 Tensor Core": Parece-me estranho chamar GPU e TPU na mesma terminologia, não acha?

LuC45m4Th3u5

26 dias atrás

Olá gpoleszuk, Bom, creio que a confusão entres os termos é comum, mas nesse caso é GPU mesmo a terminologia adequada. A NVIDIA V100 Tensor core é uma unidade de processamento gráfico projetada inicialmente para renderização 3D e cálculos paralelos massivos, sendo posteriormente adaptada para tarefas de IA devido à sua capacidade de lidar com operações vetoriais e matriciais. O Blog da Meta também diz que é um GPU, então posso supor que seja o termo certo. Com relação ao seu primeiro questionamento, na GPU NVIDIA V100 tem grande parte desses avanços principalmente devida a natureza de um Tensor Core (Não sei qual a estratégia citada, fiquei bem interessado inclusive).

gpoleszuk

Autor

26 dias atrás

Valeu pelos esclarecimentos LuC45m4Th3u5!

Com relação à matéria que eu havia perdido, bom, passei por cada título publicado pela conta NewsletterOficial e encontrei o artigo. Abaixo só um extrato do texto que apresenta uma síntese da estratégia que promete reduzir em até 95% o consumo de energia "de IA" sem comprometer a qualidade, segundo pesquisadores:

A técnica consiste em utilizar a Multiplicação de Complexidade Linear (L-Mul), que substitui multiplicações em ponto flutuante, tradicionalmente exigentes em termos de energia, por adições inteiras mais simples nos cálculos de IA.

Íntegra da matéria: https://www.tabnews.com.br/NewsletterOficial/metodo-promete-reduzir-em-ate-95-por-cento-o-consumo-de-energia-de-ia-sem-comprometer-a-qualidade-segundo-pesquisadores