A performance é medida com base na solicitação -> processamento -> resposta, ou seja, o ciclo completo da comunicação.

O Web Frameworks Benchmark tem toda uma metodologia pra medir isso, todos os frameworks que participam precisam ter as mesmas rotas e respostas esperadas para cada requisição. Além disso, o teste é feito em um ambiente controlado, as especificações tecnicas do ambiente estão no site do benchmark.

Com isso, ele consegue gerar como resultado as requisições por segundo, latência etc.