Les psychologues qui utilisent des tests psychotechniques doivent savoir : sauf preuve du contraire, un score psychotechnique n’est pas une mesure. Par conséquent, interpréter le QI de Julie comme une mesure approximative de son intelligence, interpréter le score d’anxiété de Paul comme une mesure approximative de son anxiété (voir le sondage 1), cela consiste à développer un mode de pensée non pas scientifique mais fétichiste (voir Gori, 2014, 5:13-5:23). La question qui se pose aux psychologues qui calculent et interprètent des scores psychotechniques est de savoir s’ils sont prêts à assumer que certaines pratiques de fabrication et d’utilisation de scores psychotechniques soient des pratiques fétichistes.

Cette question déontologique ne se pose pas dans le contexte scientiste dominant, parce que la doctrine officielle stipule que nous savons mesurer des grandeurs psychologiques grâce à des outils psychotechniques scientifiquement validés — des instruments de mesure. Les spécialistes de la mesure en psychologie qui se réclament de l’esprit de scientificité ont un devoir de clarification vis-à-vis des utilisateurs, praticiens ou chercheurs, des tests. Cet article est une contribution à cette nécessaire clarification.

Tout d’abord, il s’agira de préciser ce que mesurer veut dire. Ensuite, il faudra montrer en quoi la pensée scientifique n’est pas une pensée fétichiste. Enfin, on esquissera le problème de la légitimation de l’utilisation des scores psychotechniques.

1. Ce que mesurer veut dire : définitions

La définition de la doctrine dominante en psychologie est une singularité culturelle dans les sciences empiriques : en psychologie, mesurer, c’est noter. Autrement dit, il suffit qu’un système de notation soit consensuel pour que les notes résultant de l’application de ce système de notation soient des mesures. Nous n’avons pas à analyser en détail les conditions du consensus ; il suffit de remarquer (i) que certaines analyses statistiques de réponses recueillies sur des cohortes de répondants doivent avoir été rapportées dans des articles publiés dans des revues académiques dites qualifiantes, et que (ii) ces analyses (ACP, analyses factorielles linéaires ou non linéaires, modèles de réponse à l’item, etc.) postulent, au lieu de la tester, la mesurabilité des grandeurs latentes dès que les variables latentes de ces modèles sont interprétées comme grandeurs psychologiques (à propos de la “validité de construit”, voir par exemple Borsboom et al., 2009).

Dans d’autres disciplines, la définition qui prévaut est plus exigeante. La formulation suivante me convient : “Des observations (y compris des réponses à des items de tests) mesurent une certaine quantité d’une certaine grandeur si et seulement si leur variation dépend de la variation de la quantité de grandeur, de telle manière qu’il soit possible de déduire de la variation observée que la quantité de grandeur a augmenté ou diminué” (3a).

Le problème rédhibitoire qui se pose pour la mesure de grandeurs psychologiques par les réponses à des items de tests est que les séries de réponses que l’on observe ne varient pas de manière ordinale. C’est que les observations qu’on peut faire dans un langage descriptif exact et multivarié ne sont habituellement pas complètement ordonnées. Par exemple, la série (échec, réussite) et la série (réussite, échec) ne sont pas ordonnées. D’où le recours à un système de notation si on veut néanmoins affirmer qu’on mesure une grandeur avec ces réponses. En caricaturant à peine, il suffira qu’une interprétation unifactorielle soit acceptable pour que le test soit validé.

2. La pensée scientifique n’est pas un fétichisme, le scientisme est un fétichisme

On doit à Popper qu’une condition nécessaire pour qu’une théorie empirique soit scientifique est sa testabilité. La testabilité d’une théorie entraîne qu’elle est fausse ou bien en sursis étant donné ce qu’on appelle l’évidence (evidence) — aucune théorie scientifique n’est sûrement vraie. Une théorie fausse est une théorie qui ne correspond pas à ce qui se passe réellement d’où une certaine tentation, que certains disent constructiviste, de se passer du réel, à laquelle certains comme Piaget, dont l’épistémologie est aussi qualifiée de constructiviste, ne cèdent pas.

Un fétiche est un objet qui permet d’évoquer, ou d’invoquer si on s’adresse à elle, une entité métaphysique par le biais d’une convention ; il suffit que (presque) tout le monde croie à l’entité et croie que l’objet est relié à l’entité pour que cet objet devienne un fétiche. Un score de QI permet d’évoquer une quantité (relative et approximative) d’intelligence, que la théorie psychométrique nomme “score vrai” ou “score latent”. Mais l’évocation psychométrique de cette abstraction n’est pas scientifique parce que la théorie psychométrique ne définit aucune restriction qui permettrait de la rendre falsifiable — le score vrai est un énoncé d’existence, on y croit ou on n’y croit pas. L’évocation est irréfutable parce que l’erreur de mesure n’est pas restreinte. Autrement dit, le système de notation produit un score-fétiche : celui-ci permet d’évoquer une quantité désirée seulement parce qu’on le désire.

Par voie de conséquence, l’utilisation la plus élémentaire de ces fétiches, c’est-à-dire la comparaison de deux scores, ne permet pas de déduire quoi que ce soit concernant la manière dont s’ordonnent les deux quantités évoquées. Un modèle psychométrique emprunte son vernis de scientificité à la théorie des probabilités ; quand il s’applique au monde empirique des événements décrits par l’observation psychotechnique, il devient un modèle non scientifique parce que l’interprétation de l’événement comme résultat d’une expérience aléatoire n’a pas de conséquence restrictive. La démarche qui consiste à juger la qualité d’ajustement d’un modèle aux données après l’optimisation des paramètres du modèle en fonction de conventions sur les distributions de probabilité est, dans la pratique de la validation des tests, faite pour accepter des modèles en admettant d’entrée de jeu qu’ils sont faux (e.g., Embretson et Reise, 2000). On retrouve la tentation “constructiviste” de casser la vérité : la vérité n’est pas ce qu’on cherche, ce qu’on cherche, c’est maintenant l’utilité ou la viabilité, connaître c’est faire (voir aussi Duhem, 2007).

3. La légitimation des scores psychotechniques

Un score n’est pas utile parce qu’il mesure, au sens scientifique du terme, une quantité d’une certaine grandeur. Un score décrit dans un langage ordinal, ou encore comparatif, le comportement observé d’une personne qui a passé un test. Ainsi, il prépare l’élaboration d’une valeur d’usage qui peut être conférée à la personne dès qu’elle est placée dans une situation comparative. Un exemple courant est la comparaison du score à une norme ; si le score se situe à une certaine distance de cette norme, on conférera la valeur d’usage “doit passer d’autres tests” à la personne jugée “déficitaire”. Un autre exemple est le tri des scores pour déterminer un certain nombre de meilleurs scores (concours). La valeur d’usage conférée aux titulaires des meilleurs scores sera “sélectionnés pour la formation” et la valeur d’usage conférée aux titulaires des scores inférieurs sera “en liste d’attente”. Un troisième exemple est la comparaison du score moyen des petits français en mathématiques au score moyen des petits hollandais en mathématiques, de telle sorte que ces scores prennent une valeur d’usage dans le contexte de l’élaboration des politiques éducatives, qui sont évaluées par le biais des scores moyens.

La fabrication de systèmes de notation et l’attribution de notes à des personnes peuvent être justifiées comme une forme de construction d’une fiction instrumentale nécessaire pour répondre à des questions sociales avec une certaine objectivité. Mais ces constructions n’ont pas à être appelées des mesures — les spécialistes de la modélisation psychométrique ne sont pas nécessairement des spécialistes de la mesure. Les spécialistes doivent au contraire faire tout leur possible pour préparer les utilisateurs des indices, et non pas des mesures, à ne pas les utiliser supertitieusement (e.g., Allouche, 2014, 29 janvier ; Piketti, 2013).

4. Conclusions

Deux conclusions peuvent être tirées de ce qui précède. Un praticien des tests devrait pouvoir ne pas calculer de score tant que sa mission n’est pas définie en référence à un problème qui nécessite le scorage. L’examen psychologique par les tests est d’abord une observation standardisée de comportements datés, dont la variabilité temporelle est inconnue, et la qualification première du psychologue consiste non pas à se faire le sorcier des grandeurs psychologiques que les scores sont supposés mesurer, mais à expliciter les limites héritées des connaissances scientifiques de sa discipline : pas de loi scientifique, pas de prévision scientifique (Popper, 1973). S’il est nécessaire, le scorage devrait être justifié dans le contexte d’une convention sociale non-fétichiste, c’est-à-dire telle qu’il soit publiquement reconnu que le score n’évoque pas de propriété naturelle de la personne qui en est titulaire (son intelligence, son anxiété, etc.).

Dans le domaine de la recherche, toute hypothèse dont une variable dépendante ou indépendante prend ses valeurs dans une échelle de scores vus comme des mesures n’est pas une hypothèse scientifique mais une hypothèse fétichiste. Les grandeurs psychologiques ne sont pas des concepts scientifiques tant qu’elles ne sont pas mesurables et les études de validation des tests utilisés ne testent pas la mesurabilité (voir par exemple Michell, 2012) ; sinon, il faudrait reconnaître que la mesurabilité est massivement falsifiée. Par conséquent, un chercheur en psychologie qui s’intéresse aux réponses à un test doit d’abord reconnaître qu’il ne sait pas interpréter ces réponses comme des mesures, parce que dans l’état actuel des connaissances, il est impossible d’établir les conditions empiriques qui permettent de corroborer que les réponses soient des mesures, c’est-à-dire de corroborer que les variations des réponses dépendent de variations quantitatives théoriques, de telle manière qu’on puisse déduire des variations observées ce qui se passe en termes de variations théoriques (voir Vautier, 2014, 15 avril et aussi Hanson, 1971). Il doit imaginer et tester la théorie de ce qui détermine ces réponses pour que ces réponses puissent avoir une quelconque utilité théorique.