sim, é totalmente possivel! Inclusive eu prefiro o backend. Mas geralmente grande parte das aplicações que você for fazer vai precisar de conhecimentos de frontend.
Como por exemplo, fazer webscraping e webcrawling. Em ambos os casos você precisa conhecer tags de html e manipular o DOM.