Cara na minha experiência ele não quer teu pior, mas o valor que você agrega não tá compatível com o ambiente que você merece trabalhar. Isso não é sobre ele!
E eu digo isso porque negócios são negócios, não se deve colocar o patrão numa posição de liderança nem de família, não estamos na Itália devendo favores a mafiosos, como no livro poderoso chefão do Mario Puzzo, você não deve lealdade a ninguém além de si próprio.
Você não vai deixar seu chefe na mão, sempre tem alguém querendo seu lugar, assim é a vida, alguém vai te subistituir, desde que seu chefe tenha recurso pra contratar novamente não deve ser um problema.