Archives par étiquette : bibliométrie

Yves Gingras sur la notation des projets de recherche

Pour tenter de contrôler le caractère subjectif des évaluations, des systèmes de pointage ont été graduellement mis en place qui autorisent des calculs fondés sur la notation individuelle des membres des jurys, et donc des classements collectifs. Malgré les apparences, cette arithmétique ne change rien au fait que la décision de cocher “2,5” plutôt que “4,0” dans le logiciel demeure une “boîte noire” non analysée. La “quantification” des jugements portés, qui fait mettre 3 au lieu de “super !” et “1,5” au lieu de “nul !”, n’affecte en rien le caractère fondamentalement subjectif du jugement, elle se borne à le dissimuler derrière l’apparente objectivité du chiffre. On parvient cependant, grâce à cette procédure, à regrouper par des opérations arithmétiques les divers résultats des membres d’un comité : calculer la “moyenne” des jugements permet ainsi d’identifier la “variance” et de cibler la délibération sur les évaluations qui s’écartent beaucoup de cette moyenne. (pp. 58-59)

Gingras, Y. (2014). Les dérives de l’évaluation de la recherche : du bon usage de la bibliométrie. Paris : Éditions Raisons d’agir.

27a. Pour un nouveau paradigme de publication scientifique

Laisser un commentaire

La réflexion qui suit a été suscitée par la lecture de Ioannidis (2014). L’appréciation de la valeur des contributions scientifiques suppose qu’il existe des contributions scientifiques (cf. 18a). En bonne méthode, distinguons les deux questions : (i) y a-t-il une contribution ? (ii) Si non, il faut s’expliquer : ce qui est affirmé est déjà su, ou bien, si ce n’est pas déjà su, ça n’est pas vrai pour telles et telles raisons. Si oui, quelle est la valeur de cette contribution ? Le chercheur ne devrait pas avoir à se préoccuper (trop, encore moins exclusivement) de la valeur de ses contributions, mais seulement de produire les contributions qui sont à sa portée dans son contexte de recherche (intellectuel, financier, environnemental, etc.).

Le modèle actuel de publication scientifique dans des revues cotées permet la valorisation et donc la légitimation sociale des travaux de recherche par “héritage” : un article hérite de la valeur de la revue qui le publie (un papier publié dans Psychological Review est un très bon papier parce que la revue est une très bonne revue). Cette valorisation-légitimation s’effectue au détriment de la création et de la mise en commun des contributions scientifiques des chercheurs (par exemple, une analyse méthodologique qui attaque un paradigme dominant (le scorage psychotechnique) n’est pas acceptée pour publication, voir Vautier 2014).

Il est techniquement facile de changer de paradigme de légitimation des travaux de recherche. Une publication scientifique est un texte qui prétend apporter une contribution scientifique dans le contexte d’un certain état des connaissances. Tout article auto-publié (blog, archive ouverte) assorti d’au moins deux commentaires critiques signés peut être reconnu comme contribution scientifique, si les commentaires reconnaissent la contribution qui est apportée. Ainsi, si la communauté le décide, aucun chercheur n’a besoin de se plier aux lois ou caprices de la publication dans des revues dont la politique éditoriale est conditionnée par une lutte de prestige (voir Notturno, 2000). Il suffit qu’il sollicite lui-même des commentaires auprès de ses collègues et auto-publie les textes commentés qu’il peut et souhaite partager.

Pour que la pratique soit viable, la communauté doit encourager ses membres à consacrer du temps à critiquer des articles (ce qu’ils font déjà mais à l’initiative des “editors” et de manière anonyme ; voir Bon, 2015, 24 janvier ; Langlais & Stanboliyska, 2014, 10 novembre). Un relevé public de qui évalue quoi et dans quel délai devrait pouvoir être géré par les sections du CNU ou tout comité académique idoine.

Tout chercheur peut présenter son bilan scientifique aux instances institutionnelles en listant ses contributions scientifiques (théoriques, empiriques, méthodologiques, etc., y compris critiques lorsqu’il travaille comme “reviewer”).