Eu nunca fiz um app desse tipo, mas sei que existem SDKs para desenvolver isso (ARCore e ARKit, por exemplo). Quanto à medir o ambiente sem marcadores, os celulares mais recentes estão vindo com tecnologias com LiDAR ou ToF, normalmente esses sensores são utilizados pelos apps nativos, por exemplo, o "Medir" do iPhone, ou a própria camera, para fazer desfoque.

Então, o conselho que eu daria, seria testar esses SDKs, e se possíve fazer algum curso online do Udemy, que provavelmente eles terão projetos de exemplo, e o aprendizado, na minha opinião, acaba sendo mais rápido, além do mais, esses cursos não são tão caros...

P.S.: Uma dica pra comprar curso no Udemy: se o valor do curso estiver muito caro (acima de R$100,00, por exemplo), você pode adicionar o curso na tua lista de desejo, e aguardar uns dias, que normalmente a Udemy ativa promoção para converter a compra, e o valor do curso acaba diminuido para menos de R$40,00.