Um livro muito bom sobre esse mesmo assunto é o Números Inteiros e Criptografia RSA do Impa, ele expõe todo o background matemático do método RSA, partindo da teoria dos números e fundamentando com teoria de grupos.