Antes de qualquer coisa leia o paper que começou tudo:
https://bitcoin.org/bitcoin.pdf
Depois é estude a implementação de referencia:
https://bitcoincore.org/bin/bitcoin-core-26.0/bitcoin-26.0.tar.gz
Não deixe de ler tambem um livro chamado "The Truth Machine"