De forma bem simples e objetiva: compensa.
O C# é uma das linguagens que mais vem crescendo nos ultimos anos, e tem um mercado muito bom, compete em segmento com o Java, e, apesar do Java ter mais oportunidades, há também um número maior de concorrentes no inicio, visto que a maioria dos cursos e faculdades ensinam Java, o C#, por outro lado, costuma pagar melhor, mas claro que isso tende a se equalizar conforme a progressão da carreira. Quanto a perte tecnica, bom, isso é bem pessoal e sugiro que dê uma olhada para ver se realmente gosta. Mas seja lá qual for a tua escolha, tecnologia não será um motivo para desemprego, as linguagens mais populares tendem a valer a pena, pois costumam ser bem adotadas pelo mercado.