TL;RD: Vim aqui dar meu feedback (atual), e sinto que estou desenvolvendo em uma boa direção minhas habilidades. Consegui implementar uma rede neural profunda, bem como entender a retropropação, além de conseguir dar rumo a outros conceitos e começar estudar mais profundamente sobre redes neurais mais complexas, como RNNs (LSTMs, GRUs), etc.

Comecei treinando um modelo XOR inicialmente, vi que deu certo (também visualizando o erro via RMSE), logo após fui para um modelo da soma de dois números (entre 0 e 9) e deu certo também, e agora eu fiz um modelo para ela aprender a seguir um obstáculo e deu certo também. Tô pensando em mais coisas para fazer. É divertido e legal ver o próprio algoritmo funcionando (e por incrível que pareça em uma semana).

Foi de grande ajuda as recomendações que me passou, obrigado, principalmente em relação ao desenvolvimento da minha matemática onde me faltava o conhecimento nescessário, mas com isso agora consigo buscar formas de me auto-aperfeiçoar. E uma dica para quem também está com dificuldades é tentar e fazer na prática, e se não der certo, estuda, pensa um pouco, reflete, descansa e tenta de novo até conseguir, o esforço é tudo.

Foi isso, não respondi antes por não ter um feedback ainda, mas aí está. :)

Comece com um modelo Multilayer Perceptron como inicial de aprendizado, depois outras redes e otimizadores...