Um tempo atrás eu testei o Neovide, nada contra a ferramenta, mas é bem isso que você falou. Você perde horas e horas para tentar se aproximar do que o VsCode faz hoje sem plugins. A minha motivação na época era consumir menos processamento e memória, mas com base nos testes que eu realizei, não teve diferença ao ponto de ser notório.
Muita gente faz isso com a mesma premissa do distro hopping (ficar mudando de distro linux), nada contra isso, é até muito divertido configurar seu editor de texto do zero e fazer as suas modificações, mas isso não pode interferir na sua produtividade, que foi o meu caso kkkk.
E outra coisa, muito massa os key bindings do Vim e a maneira em que é feita a movimentação, mas só funciona no Vim. Já procurei plugins para o chrome, para o linux mas tudo me pareceu uma grande gambiarra. É por esse e outros motivos que permanesso no VsCode no geral e Visual Studio 22 para projetos C#.