Tive matérias na faculdade que ensinaram Big O notation e até como calcular, confesso que tive um pouco de dificuldade no início mas conforme fui entendendo como funciona e o motivo, consegui aprender um pouco melhor.

Na minha opinião vai depender muito de onde você quer atuar e em qual momento da carreira você está.

Se está no início não vejo uma necessidade tão grande assim de estudar este assunto. Se for de seu interesse, pesquise, conheça tente calcular alguns algorítmos, mas não se mate tentando entender coisas complexas que só o tempo te daram a resposta.
Mas se está em um nível avançado/ senior, e quer aprofundar em como melhorar performance de sistemas e dar novas soluções de construções de aplicações, acredito que vale aprofundar um pouco.

De qualquer modo, a menos que haja uma necessidade grande de sua parte querer estudar este assunto, no dia dia não é algo muito comum de ser usado por um desenvolvedor de software.

Encontrei alguns artigos aqui que podem lhe interessar

https://medium.com/linkapi-solutions/o-que-%C3%A9-big-o-notation-32f171e4a045
https://www.programiz.com/dsa/asymptotic-notations