Me baseando um pouco na documentação do git e nesse post que achei no fórum da alura.
Um repositório é aonde tem todos os arquivos do seu projeto, histórico de revisão e versões dele e o diretorio é algo local, é o local aonde o projeto está salvo em seu computador, não necessariamente ele vai guardar o dados de versões e revisões do seu projeto.