Cara, se não for o nuget source configurado errado é algum problema de rede que tá bloqueando de baixar.
Por que não faz sentido, se você der um dotnet new mvc
por exemplo e der um restore no teu projeto e não restaurar é por que não é problema no projeto.
Tenta rodar o restore via terminal, talvez, você consiga ver o problema (isso se seu projeto for .net core, no mínimo).
Basta abrir o terminal, ir na raiz do teu projeto, e digitar dotnet restore
. Se falhar o comando é por que você precisa instalar o dotnet sdk.