A notação big-o é muito mais antiga que a computação e qualquer problema de algoritmos. Ela serve pra análises assintóticas de crescimento de funções.
"In mathematics, it is commonly used to describe how closely a finite series approximates a given function, especially in the case of a truncated Taylor series or asymptotic expansion."
O trio Omega, Theta e Big-O foi proposto por Donald Knuth. Verdade que a notação omega e big-O é bem mais antiga (datando do final do século dezenove), mas o trio e a definição utilizada atualmente em computação é algo bem mais novo:
"the 1970s the big O was popularized in computer science by Donald Knuth, who introduced the related Theta notation, and proposed a different definition for the Omega notation."