Pour tenter de contrôler le caractère subjectif des évaluations, des systèmes de pointage ont été graduellement mis en place qui autorisent des calculs fondés sur la notation individuelle des membres des jurys, et donc des classements collectifs. Malgré les apparences, cette arithmétique ne change rien au fait que la décision de cocher “2,5” plutôt que “4,0” dans le logiciel demeure une “boîte noire” non analysée. La “quantification” des jugements portés, qui fait mettre 3 au lieu de “super !” et “1,5” au lieu de “nul !”, n’affecte en rien le caractère fondamentalement subjectif du jugement, elle se borne à le dissimuler derrière l’apparente objectivité du chiffre. On parvient cependant, grâce à cette procédure, à regrouper par des opérations arithmétiques les divers résultats des membres d’un comité : calculer la “moyenne” des jugements permet ainsi d’identifier la “variance” et de cibler la délibération sur les évaluations qui s’écartent beaucoup de cette moyenne. (pp. 58-59)

Gingras, Y. (2014). Les dérives de l’évaluation de la recherche : du bon usage de la bibliométrie. Paris : Éditions Raisons d’agir.