Faz um tempo que fiz e não me recordo exatamente o material que usei de suporte, mas pode pesquisar no Google sobre que acha fácil. Basicamente você vai usar o Visual Studio Code Extension (vsce) generator, selecionar que tipo de extensão deseja fazer e codar, depois tem que publicar claro, vou ficar devendo o material que usei mas pode usar esse link como base se quiser:

https://learn.microsoft.com/en-us/shows/vs-code-livestreams/build-your-own-vs-code-theme