Executando verificação de segurança...
Respondendo a "Obrigado pelo comentário GTEX. A ideia deste pr..." dentro da publicação Que tal exploramos o SIMPLES?
2
GTEX

Obrigado pela resposta FabioSmuu!

Entendi o que você deseja fazer, é algo parecido o que o TabNews quer fazer, novas maneiras de a gente aprender de coisas já existentes 😄

No momento as redes neurais não são muito o meu campo de trabalho, mas desejo que tenha sucesso nesse projeto!!

PS. Só um ponto sobre o que você falou, desenvolver um cálculo para não gerar aleatoriamente os primeiros pesos parece uma armadilha, porque a aleatoriedade nos pesos é necessária para não ter tendência de treinamento. Para evitar ser custoso, tem que trabalhar na parte do treinamento.

Carregando publicação patrocinada...
1
FabioSmuu

Isso mesmo, tem de trabalhar na parte do treinamento mesmo.

Esobre os pesos não serem aleatórios é exatamente esta sensação de armadilha que fazem não serem explorados, já que algo "matemáticamente" criado pode converger a um ótimo local, mas eu não me refiro a isso e sim em saber gerar os valores aleatórios de forma em que a própria rede demore mais tempo para associa-los durante o crossover por exemplo.

E acho que nesta parte que deve ocorrer o maior consumo e não durante o treinamento, oque não ocorre na prática.

Obrigado pela atenção, apóio e por entender a ideia e conceito

1
GTEX
Autor
Autor

Estamos juntos FabioSmuu!!

A gente tem que criar esse conteúdo de ML mesmo na comunidade brasileira!

Sobre a parte de convergir em menos tempo por não ter valores aleatórios, não acredito que seja assim porque o backpropagation geralmente utiliza algoritmos que punem valores mais discrepantes para toda a rede.

O dropout vai servir para corrigir ainda mais esses valores discrepantes e não ocorrer um possível overfit.

2
FabioSmuu

Sim, mas ai você esta trabalhando encima de conceitos já existentes.

Isso não se aplicaria se os valores fossem gerados de forma matemática.

A idéia neste caso seria criar uma metodologia viável para este tipo de comportamento, mas sim você esta certo a respeito de valores randomicos, mas acredito que isso não daria toda a liberdade e controle numa rede com um conceito novo.

mesmo assim é sempre bom termos ambos os pensamentos soltos, afinal, tudo é conteúdo 😌

1
GTEX
Autor
Autor

Sim sim, é verdade!

Sobre os pesos iniciarem aleatórios ou partirem de pesos avaliados, já houve uma tentativa, porém não chegava na solução ideal.

Não me lembro exatamente o artigo, mas vale dar uma olhada.