Apesar de eu não programar Swift, acho que é uma boa ideia pra começar sim! Hoje a linguagem já está bem consolidada no mercado, pode ser usada para front e back end. A sintaxe é de alto nível, o que vai facilitar bastante seu entendimento. E se você já ama o mundo apple e tem algum dispositivo Apple pra testar, vai ser mais legal ainda pq vai ter a motivação de criar apps que você mesmo vai poder usar no seu dia a dia.

Vai fundo!

Edit: esqueci de mencionar que a Apple tem MUUUUUUITO material de qualidade para ensinar. Documentação, livros, exemplos de código pra baixar e também o Swift Playgrounds para iPad que é show de bola.