Câmera montada no pulso captura o corpo inteiro em 3D

O segredo do BodyTrak não está apenas no sistema de câmeras montadas no pulso, mas principalmente na rede neural profunda personalizada que processa as imagens de cada uma delas.

A equipe vem trabalhando nessa ferramenta de inteligência artificial há alguns anos, já tendo usado modelos de aprendizado profundo para rastrear os movimentos das mãos e dos dedos, usados em seu equipamento anterior, além de expressões faciais e até reconhecimento de fala silenciosa, ou subvocal.

Nesta versão, o sistema foi treinado para processar as imagens rudimentares de cada câmera, nada mais do que silhuetas borradas do corpo do usuário em movimento, recriando as poses corporais em tempo real e em 3D. Na versão atual, o sistema consegue identificar 14 posturas com precisão.

Isso é possível porque o sistema aprendeu a completar as imagens parciais coletadas pelas câmeras. "Nossa pesquisa mostra que não precisamos que os quadros dos nossos corpos estejam totalmente dentro da visão da câmera para detectarmos o corpo. Se formos capazes de capturar apenas uma parte dos nossos corpos, já há informação suficiente para inferir e reconstruir o corpo inteiro," disse o pesquisador Hyunchul Lim.

Outro detalhe que a equipe ressalta como vantagem da sua tecnologia é que ela não cria preocupações de privacidade caso seja usada em locais públicos, uma vez que todas as câmeras são voltadas apenas para o corpo do usuário.

Quando totalmente miniaturizado, o sistema poderá ser incorporado até mesmo em um relógio inteligente, com aplicações que vão da realidade virtual e do metaverso até sistemas de treino físico e monitoramento de pacientes.

E, ao contrário dos sistemas atuais, que dependem de câmeras externas monitorando sensores distribuídos por todo o corpo, este funciona com o usuário se movimentando livremente pelo ambiente e usando apenas a pulseira.