Olha, eu acho que ficou um pouco confuso entender o seu problema da forma como você tentou explicar. Algumas coisas não ficaram totalmente claras. Entretanto vamos ver se consigo ajudar.
Já testou esses carinhas aqui?

• OpenCV
• mss

Ambos são em pythons ... e tecnicamente fazer o mesmo que o PyAutoGui, mas acho que com uma proposta mais eficiente.

Mas novamente, eu não sei exatamente o seu problema pra saber se respondi o que queria. Me avise =]