Encontrei o QuickGraph e achei bem interessante e completo.

Dá uma olhada aqui https://github.com/KeRNeLith/QuikGraph

- Documentação: https://github.com/KeRNeLith/QuikGraph/wiki/README

Tem esse exemplo que achei interessante: https://github.com/KeRNeLith/QuikGraph/wiki/Depth-First-Search-Example.

Espero ter ajudado.

Eu tinha dado uma olhada mas pelo que vi ele traz a implementação dos algoritmos já, eu queria usar a minha propria implementação

Entendi, você quer somente uma biblioteca gráfica crua, isso? Sendo assim, eu desenvolveria algo com HTML e criaria os grafos com JS ou talvez alguma lib gráfica e usaria os algoritmos vindo do C#. 

Vou ver se tem algo mais simples usando WinForms.

Atualização: o mais próximo que encontrei foi o GoDiagram. Você pode utilizar com WinForms. Acredito que vá servir pra você.
https://github.com/NorthwoodsSoftware/GoDiagram

Encontrei o QuickGraph e achei bem interessante e completo. Dá uma olhada aqui https://github.com/KeRNeLith/QuikGraph Documentação: https://github.com/KeRNeLith/QuikGraph/wiki/README Tem...