Isso quantificaria o trabalho como quantidade, então?

ficariamos presos em saber quantas linhas de codigos e bugs certo dev resolveu, ao inves de saber o verdadeiro valor do trabalho dele.

ou a analise seria inteligente o suficiente para nao cair no "quanto mais melhor"?

Exato! E como quantificar fatores não diretos ao trabalho dessa pessoa? Gerência, por exemplo.