Um que eu gosto bastante é o But How Do It Know? - The Basic Principles of Computers for Everyone. O erro gramatical do título é proposital e explicado logo no começo, mas é o que menos importa.
Esse livro explica o funcionamento do computador por dentro: portas lógicas, como os bytes trafegam lá dentro, como ele faz cálculos e como tudo isso se transforma em "coisas" que a gente vê na tela.
E tudo de uma maneira bem didática, sem tecnicismos, para qualquer um entender. Além disso é bem baratinho, se comparado aos demais livros da área :-)
Por fim, seguem posts anteriores sobre livros, com várias indicações: