Cara, esse sentimento é normal e me remete a um certo senso de responsabilidade quanto à posição que você ocupa atualmente, portanto não se culpe.
Já passei por algo parecido e fui bem objetivo com o gestor sobre uma oportunidade melhor, e ele foi muito compreensivo, mas não temos controle sobre a reação do outro.
O conselho é simples, se VOCÊ não correr atrás do que quer ou se sacrificar por isso, nunca chegará lá.