A pergunta de se "vale a pena" é muito, mas muito relativa e pessoal.

O que é "valer a pena" pra você?
Tu já falou que não vai ter essa matéria na faculdade, e também não vai utilizá-la para procurar emprego, então, olhando assim, não parece valer a pena.

Mas mesmo assim você se pergunta isso. O que mostra que você tem interesse em aprender sobre, logo, pra você, vale a pena.

Tu tá querendo estudar Assembly.. Depois aposto que vai arriscar fazer um "hello world" em binário. Então, vale a pena.

Você já disse que vai fazer isso por puro objetivo de aprendizado, e todo aprendizado é válido. Honestamente parece que esse tópico só foi criado para você ter um aval de pessoas que você não conhece para fazer algo que você já queria fazer desde o principio.

No fim, tanto faz se vale a pena ou não, se é oq tu quer fazer, pega e faz...