Eu comecei a trabalhar com C# no Linux, onde o Visual Studio nunca foi nem opção, mas eu precisava só do .NET Core, então não fazia falta.
E para isso eu sempre trabalhei no VS Code e nunca tive problemas. Mas admito que eu sou um fã de minimalismo "leve", por exemplo, tento sempre usar o VS Code e executar as ferramentas de linha de comando, não gosto de IDE's, apesar das suas fscilidades.
Então não tenha medo de usar, acho que assim você até vai aprender melhor o que a linguagem oferece, as ferramentas que rodam debaixo do capô quando se usa IDE, etc.