Bom, na minha visão você está sofrendo de algo similar a quando alguém vai começar a programar JS vindo de outra lang, Rust tem que saber exatamente como funciona a memória e entender que ele só aceita 1 ref mutável por bloco por vez, uma vez entendendo esses 2 conceitos o Rust se torna natural para codar.