La théorie classique des tests sous-tend la plupart des travaux de validation des tests psychologiques mais n’explique pas comment tout score mesure une quantité. Elle interprète seulement tout score comme le résultat d’une expérience aléatoire. Cette expérience aléatoire est modélisée par une loi de probabilité qui, à tout score possible au moment où la personne à laquelle on s’intéresse est testée, associe une probabilité. Munir l’ensemble des scores possibles d’une loi de probabilité permet de définir une variable aléatoire numérique caractérisée par une espérance mathématique. Cette espérance mathématique est requalifiée en “score vrai”, si bien qu’en vertu de cette construction mathématique, tout score est doté du score vrai et d’une erreur de mesure, résidu arithmétique qui comble l’écart entre le score et le score vrai.

Si les utilisateurs de scores considèrent que ceux-ci contiennent un score vrai et dès lors qu’ils utilisent une interprétation réaliste naïve de la notion de vérité (le score vrai est le score réel), ils peuvent tout naturellement croire que les scores mesurent le score réel. Mais la théorie classique des tests les empêche de revendiquer la validité logique des interprétations élémentaires qu’ils peuvent faire des scores, à cause de l’absence de restriction de l’erreur de mesure. Par exemple, ce n’est pas parce que Paul  a vu son score d’anxiété diminuer d’hier à aujourd’hui que son score vrai a diminué ni que son anxiété a diminué. Et encore, Paul a un QI plus élevé que Julie, mais cela n’implique pas que le QI vrai de Paul soit supérieur au QI vrai de Julie. Par conséquent, adopter la théorie classique des tests comme cadre statistique pour la validation des tests revient à adopter la norme épistémologique selon laquelle des interprétations logiquement invalides sont acceptables pour une pratique d’utilisation des scores qui revendique la scientificité — on admet dans la communauté des psychologues que les tests sont “scientifiquement validés”.

Du point de vue scientifique, l’emploi de cette théorie est un triple désastre.  Tout d’abord, en remplaçant l’exigence de “validité logique” par celle de “validation sociale”, elle brouille la signification de ce qu’est une conclusion scientifiquement fondée. Pour qu’une conclusion, déduite d’une théorie et de certaines observations, soit scientifiquement fondée, il faut que les observations soient objectives à défaut d’être vraies (qui sait prouver qu’elles sont vraies ?) et que la théorie qui permet de les interpréter soit corroborée, c’est-à-dire testée avec succès (i.e., testée et pas falsifiée).

Ensuite, l’emploi de la théorie classique des tests permet aux psychologues d’ignorer que mesurer une grandeur grâce à l’observation de certains phénomènes suppose (condition nécessaire) que ces phénomènes s’inscrivent dans un ordre simple. La vérité de cette dernière proposition est testable (voir la notion de fonction de mesurage) et elle est invraisemblable (voir la définition).

Enfin, en établissant l’agrégation numérique des faits qualitatifs comme canon de la description objective pour édifier une psychologie quantitative, elle incite les psychologues chercheurs à sous-estimer les enjeux théoriques de toute méthodologie descriptive (voir la discussion du kappa de Cohen ou l’article Anecdotes statistiques inexpliquées par exemple), en institutionnalisant notamment l’ignorance de la différence conceptuelle entre ordre simple et ordre partiel ; laquelle, à ma connaissance, n’est exposée que par un manuel de méthodologie en psychologie — “An introduction to the logic of psychological measurement” de Joel Michell (1990).

Cet article développe les points qui précèdent (1) en précisant le concept de score vrai, (2) en déduisant que la comparaison de deux scores considérés comme mesures relève de la divination, (3) en soulignant que la modélisation probabiliste n’a rien à voir avec la théorisation de fonctions de mesurage, et (4) en concluant que les scores psychotechniques ne devraient pas masquer les m-uplets empiriques sur lesquels ils reposent.

1. Le score vrai

Le concept de score vrai contenu dans un score repose sur deux concepts, à savoir une échelle de scores possibles et une distribution de probabilité qui, à tout score, associe une probabilité. A ma connaissance, la théorie classique des tests, comme toute théorie psychométrique, ne se pose pas la question de savoir si les probabilités existent et comment on pourrait les connaître de manière testable.

Supposons une échelle de k scores x_i, i = 1, 2, …, k. La théorie postule la loi de probabilité {p_i, i = 1, 2, …, k} (ce qui implique que la somme des probabilités est égale à 1). Elle postule ainsi une variable aléatoire dont l’espérance est, par définition, la somme des scores de l’échelle pondérée par leurs probabilités, soit

score vrai = p₁ x₁ + p₂ x₂ + … + p_k x_k = Σ p_i x_i.

2. Comparer deux scores, c’est faire de la divination

On voit bien les difficultés insurmontables que pose cette approche pour l’utilisation élémentaire des scores : comment déduire de deux scores quoi que ce soit concernant les scores vrais ? Par exemple, Paul et Julie ont un QI de 120 et 130 points, respectivement. Peut-on en déduire que le QI vrai de Paul est inférieur au QI vrai de Julie ? Comme on ignore les lois de probabilité postulées pour interpréter les deux QI comme le résultat de deux expériences aléatoires, on ignore les deux scores vrais. Le score vu par la théorie classique des tests est au désir du psychologue ce que la boîte de Saint-Exupéry est au désir du Petit Prince : une boîte pour un mouton inaccessible, une coquille statistique pour un nombre inaccessible.¹

3. Le score vrai ne mesure rien

L’idéalisation dont procède la postulation de lois de probabilité proliférant dans un espace métaphysique masque le problème fondamental du mesurage. Le mesurage repose sur une métaphysique d’une quantité non pas probable mais théoriquement nécessaire, qui ne coïncide pas avec celle des probabilités qui n’ont de nécessaire que leur existence mathématique.²

La théorie classique des tests brouille le concept de mesurage, puisqu’elle détourne l’attention du processus de mesurage, dont le score devrait être le résultat, en la focalisant sur le score vrai, dont la valeu.r reste néanmoins inaccessible, même par encadrement (i.e., par minoration et majoration).³

4. Les scores sont des événements qualitatifs composés

En tant que théorie statistique, la théorie classique des tests oblitère la signification empirique, expérimentale, ou encore instrumentale des scores. Les scores de tests sont traités comme des données au sens propre du terme. Le psychométricien ne veut rien savoir de leur origine, il les accepte sans réserve, abandonnant au psychologue (non statisticien) la responsabilité de leur fabrication. Une telle division du travail est constitutive d’un jeu de dupes qui s’organise au service de l’impossibilité de rejeter les scores pour inadéquation scientifique.

L’article Scorage vs. mesurage détaille le processus de fabrication des scores à l’aide des notions de fonctions descriptive et de scorage. La première, notée X, associe un m-uplet de réponses à toute unité d’observation ; la seconde, A, associe un score à tout m-uplet. Pas de score sans m-uplet. La division du travail instituée par la théorie classique des tests, par son cantonnement à l’analyse statistique des scores, permet que la communauté entière des utilisateurs de scores puissent ne pas buter sur l’évidence selon laquelle, pour mesurer une grandeur avec des observables, il faut que ces observables soient simplement ordonnés. Or les observables psychotechniques sont des m-uplets.

Comment ordonner simplement des m-uplets ? Par exemple, comment ordonner (0, 0, 1) et (1, 1, 0) ? Ou encore, comment ordonner simplement les points flottant dans un cube ? Dès lors que la démarche descriptive est multivariée, son espace de description n’est pas un ordre simple parce qu’un ordre simple est un espace à une dimension, dans lequel les objets s’échelonnent, se placent à la queue leu leu (avec possibilité d’ex æquo).

Le théoricien classique des tests omet de remarquer que 0 et 0 et 1 n’est pas 0 plus 0 plus 1. Cette omission est théoriquement condamnable, puisque la théorie des probabilités, domaine de compétence psychométrique, repose sur ce qu’Alfred Rényi, dans le premier chapitre de son traité de “Calcul des probabilités” (1966), appelle une algèbre d’événements. Le “et” logique y est défini comme un produit et non pas comme une addition, cette dernière correspondant au “ou” logique.  Le triplet (0, 0, 1) — plus généralement, un m-uplet — n’est pas une somme mais un produit logique. C’est un événement composé, une co-occurrence, ou encore une conjonction logique — du point de vue chronologique, il faut négliger le temps nécessaire à l’obtention des réponses pendant la durée du test. Il est temps que les psychologues, dans leur effort de scientificité, reprennent la main sur l’élaboration théorique de leurs données.

Références

Michell, J. (1990). An introduction to the logic of psychological measurement. Hillsdale, NJ: LEA.

Rényi, A. (1966). Calcul des probabilités. Paris: Dunod.

1. Pour un autre angle d’attaque, voir ici. [↩]
2. pour un autre angle d’attaque, voir aussi la section 2 de l’article 22. [↩]
3. Pour un autre angle d’attaque, voir ici. [↩]