Archives de catégorie : c. L3

16a. La théorie classique des tests : un triple désastre scientifique

La théorie classique des tests sous-tend la plupart des travaux de validation des tests psychologiques mais n’explique pas comment tout score mesure une quantité. Elle interprète seulement tout score comme le résultat d’une expérience aléatoire. Cette expérience aléatoire est modélisée par une loi de probabilité qui, à tout score possible au moment où la personne à laquelle on s’intéresse est testée, associe une probabilité. Munir l’ensemble des scores possibles d’une loi de probabilité permet de définir une variable aléatoire numérique caractérisée par une espérance mathématique. Cette espérance mathématique est requalifiée en “score vrai”, si bien qu’en vertu de cette construction mathématique, tout score est doté du score vrai et d’une erreur de mesure, résidu arithmétique qui comble l’écart entre le score et le score vrai.

Si les utilisateurs de scores considèrent que ceux-ci contiennent un score vrai et dès lors qu’ils utilisent une interprétation réaliste naïve de la notion de vérité (le score vrai est le score réel), ils peuvent tout naturellement croire que les scores mesurent le score réel. Mais la théorie classique des tests les empêche de revendiquer la validité logique des interprétations élémentaires qu’ils peuvent faire des scores, à cause de l’absence de restriction de l’erreur de mesure. Par exemple, ce n’est pas parce que Paul  a vu son score d’anxiété diminuer d’hier à aujourd’hui que son score vrai a diminué ni que son anxiété a diminué. Et encore, Paul a un QI plus élevé que Julie, mais cela n’implique pas que le QI vrai de Paul soit supérieur au QI vrai de Julie. Par conséquent, adopter la théorie classique des tests comme cadre statistique pour la validation des tests revient à adopter la norme épistémologique selon laquelle des interprétations logiquement invalides sont acceptables pour une pratique d’utilisation des scores qui revendique la scientificité — on admet dans la communauté des psychologues que les tests sont “scientifiquement validés”.

Du point de vue scientifique, l’emploi de cette théorie est un triple désastre.  Tout d’abord, en remplaçant l’exigence de “validité logique” par celle de “validation sociale”, elle brouille la signification de ce qu’est une conclusion scientifiquement fondée. Pour qu’une conclusion, déduite d’une théorie et de certaines observations, soit scientifiquement fondée, il faut que les observations soient objectives à défaut d’être vraies (qui sait prouver qu’elles sont vraies ?) et que la théorie qui permet de les interpréter soit corroborée, c’est-à-dire testée avec succès (i.e., testée et pas falsifiée).

Ensuite, l’emploi de la théorie classique des tests permet aux psychologues d’ignorer que mesurer une grandeur grâce à l’observation de certains phénomènes suppose (condition nécessaire) que ces phénomènes s’inscrivent dans un ordre simple. La vérité de cette dernière proposition est testable (voir la notion de fonction de mesurage) et elle est invraisemblable (voir la définition).

Enfin, en établissant l’agrégation numérique des faits qualitatifs comme canon de la description objective pour édifier une psychologie quantitative, elle incite les psychologues chercheurs à sous-estimer les enjeux théoriques de toute méthodologie descriptive (voir la discussion du kappa de Cohen ou l’article Anecdotes statistiques inexpliquées par exemple), en institutionnalisant notamment l’ignorance de la différence conceptuelle entre ordre simple et ordre partiel ; laquelle, à ma connaissance, n’est exposée que par un manuel de méthodologie en psychologie — “An introduction to the logic of psychological measurement” de Joel Michell (1990).

Cet article développe les points qui précèdent (1) en précisant le concept de score vrai, (2) en déduisant que la comparaison de deux scores considérés comme mesures relève de la divination, (3) en soulignant que la modélisation probabiliste n’a rien à voir avec la théorisation de fonctions de mesurage, et (4) en concluant que les scores psychotechniques ne devraient pas masquer les m-uplets empiriques sur lesquels ils reposent.

1. Le score vrai

Le concept de score vrai contenu dans un score repose sur deux concepts, à savoir une échelle de scores possibles et une distribution de probabilité qui, à tout score, associe une probabilité. A ma connaissance, la théorie classique des tests, comme toute théorie psychométrique, ne se pose pas la question de savoir si les probabilités existent et comment on pourrait les connaître de manière testable.

Supposons une échelle de k scores xi, i = 1, 2, …, k. La théorie postule la loi de probabilité {pi, i = 1, 2, …, k} (ce qui implique que la somme des probabilités est égale à 1). Elle postule ainsi une variable aléatoire dont l’espérance est, par définition, la somme des scores de l’échelle pondérée par leurs probabilités, soit

score vrai = p1 x1 + p2 x2 + … + pk xk = Σ pi xi.

2. Comparer deux scores, c’est faire de la divination

On voit bien les difficultés insurmontables que pose cette approche pour l’utilisation élémentaire des scores : comment déduire de deux scores quoi que ce soit concernant les scores vrais ? Par exemple, Paul et Julie ont un QI de 120 et 130 points, respectivement. Peut-on en déduire que le QI vrai de Paul est inférieur au QI vrai de Julie ? Comme on ignore les lois de probabilité postulées pour interpréter les deux QI comme le résultat de deux expériences aléatoires, on ignore les deux scores vrais. Le score vu par la théorie classique des tests est au désir du psychologue ce que la boîte de Saint-Exupéry est au désir du Petit Prince : une boîte pour un mouton inaccessible, une coquille statistique pour un nombre inaccessible.

3. Le score vrai ne mesure rien

L’idéalisation dont procède la postulation de lois de probabilité proliférant dans un espace métaphysique masque le problème fondamental du mesurage. Le mesurage repose sur une métaphysique de la quantité, qui ne coïncide pas avec celle des probabilités. En effet, une probabilité est une quantité non mesurable (pour un autre angle d’attaque, voir aussi la section 2 de l’article 22).

Si une probabilité était mesurable, on saurait invoquer une fonction croissante qui, à tout point de [0, 1], associe un et un seul point dans un ensemble de valeurs observables. Je ne vois pas ce que peut être un tel ensemble et il est clair que l’ensemble des fréquences ne convient pas, puisqu’une probabilité quelconque de ]0, 1[ est associée à au moins deux fréquences observables. Il suffit d’envisager au moins deux expériences aléatoires fondées sur la même loi de probabilité et dont les résultats sont différents. Par exemple je lance une pièce et j’observe pile. Je lance la même pièce et j’observe face. La fréquence de l’événement “pile” associée à la probabilité 1/2 est 1 si je considère la série “pile”, 1/2 si je considère la série “pile, face”.

La théorie classique des tests brouille le concept de mesurage, puisqu’elle détourne l’attention du processus de mesurage dont le score devrait être le résultat, en la focalisant sur le score vrai, dont la valeur reste néanmoins inaccessible, même par encadrement (i.e., par minoration et majoration).

4. Les scores sont des événements qualitatifs composés

En tant que théorie statistique, la théorie classique des tests oblitère la signification empirique, expérimentale, ou encore instrumentale des scores. Les scores de tests sont traités comme des données au sens propre du terme. Le psychométricien ne veut rien savoir de leur origine, il les accepte sans réserve, abandonnant au psychologue (non statisticien) la responsabilité de leur fabrication. Une telle division du travail est constitutive d’un jeu de dupes qui s’organise au service de l’impossibilité de rejeter les scores pour inadéquation scientifique.

L’article Scorage vs. mesurage détaille le processus de fabrication des scores à l’aide des notions de fonctions descriptive et de scorage. La première, notée X, associe un m-uplet de réponses à toute unité d’observation ; la seconde, A, associe un score à tout m-uplet. Pas de score sans m-uplet. La division du travail instituée par la théorie classique des tests, par son cantonnement à l’analyse statistique des scores, permet que la communauté entière des utilisateurs de scores puissent ne pas buter sur l’évidence selon laquelle, pour mesurer une grandeur avec des observables, il faut que ces observables soient simplement ordonnés. Or les observables psychotechniques sont des m-uplets.

Comment ordonner simplement des m-uplets ? Par exemple, comment ordonner (0, 0, 1) et (1, 1, 0) ? Ou encore, comment ordonner simplement les points flottant dans un cube ? Dès lors que la démarche descriptive est multivariée, son espace de description n’est pas un ordre simple parce qu’un ordre simple est un espace à une dimension, dans lequel les objets s’échelonnent, se placent à la queue leu leu (avec possibilité d’ex æquo).

Le théoricien classique des tests omet de remarquer que 0 et 0 et 1 n’est pas 0 plus 0 plus 1. Cette omission est théoriquement condamnable, puisque la théorie des probabilités, domaine de compétence psychométrique, repose sur ce qu’Alfred Rényi, dans le premier chapitre de son traité de “Calcul des probabilités” (1966), appelle une algèbre d’événements. Le “et” logique y est défini comme un produit et non pas comme une addition, cette dernière correspondant au “ou” logique.  Le triplet (0, 0, 1) — plus généralement, un m-uplet — n’est pas une somme mais un produit logique. C’est un événement composé, une co-occurrence, ou encore une conjonction logique — du point de vue chronologique, il faut négliger le temps nécessaire à l’obtention des réponses pendant la durée du test. Il est temps que les psychologues, dans leur effort de scientificité, reprennent la main sur l’élaboration théorique de leurs données.

Références

Michell, J. (1990). An introduction to the logic of psychological measurement. Hillsdale, NJ: LEA.

Rényi, A. (1966). Calcul des probabilités. Paris: Dunod.

Cite this article as: Stéphane Vautier, "16a. La théorie classique des tests : un triple désastre scientifique", in Épistémologie de la psychologie, 28/05/2014, https://epistemo.hypotheses.org/1054.

13a. Les hypothèses de mesurage du modèle de Guttman

Cet article montre que le modèle hiérarchique de Guttman, qui stipule que les descriptions auxquelles on s’intéresse sont simplement ordonnées (1), est un modèle de mesure ordinale (2) et discute l’attitude à adopter face à des observations falsifiantes (3). Ce modèle s’applique à la situation suivante : plusieurs personnes passent le même test constitué de plusieurs items et on espère pouvoir utiliser les descriptions résultantes comme des mesures permettant de comparer les élèves les uns par rapport aux autres.

1. Les descriptions sont simplement ordonnées

Dickes, Tournois, Flieller et Kop (1994, p. 140) présentent l’exemple de cinq élèves qui passent un test de quatre items, les réponses à chaque item étant cotées 0 (pour échec) ou 1 (pour réussite). L’application descriptive X: Ω → D est définie de Ω, l’ensemble de toutes les unités d’observation possibles, dans D = {0, 1}4 = {0000, 0001, …, 1111}. D contient 24 = 16 4-uplets. De manière plus détaillée, X = X1X2X3X4, avec Xi: Ω → {0, 1}, i indexant les items du test.

L’image de Ω5 = {ω1, ω3, ω3, ω4, ω5} par X, X5), est {0000, 0100, 0110, 1110, 1111}. Cet ensemble est simplement ordonné par la relation d’ordre produit direct :

0000 ≤ 0100 ≤ 0110 ≤ 1110 ≤ 1111.

2. Fonction de mesurage

Interpréter les descriptions comme mesures ordinales d’une grandeur revient à supposer qu’il existe une fonction de mesurage F: Ω5X5), c’est-à-dire qu’il existe quatre fonctions par palier croissantes Fi: Ω5 → {0, 1}, i = 1, 2, 3, 4, dont on connaît l’ordre des seuils Ai dans [0, max].

Pour déterminer cet ordre, il suffit de définir la bijection (relation univoque) de X5) dans l’ensemble ordonné (0, 1, 2, 3, 4) telle que

0000 → 0
0100 → 1
0110 → 2
1110 → 3
1111 → 4.

Si la quantité à mesurer est inférieure à tous les seuils, sa mesure ordinale vaut 0. Quel est le seuil à franchir pour que la mesure vaille 1 ? La description 0100 indique que ce seuil est A2. En effet, la fonction F2 détermine ce qu’on observe avec le second item du test et doit prendre la valeur 1 pour qu’on puisse déduire que son seuil a été franchi. Le prochain seuil à franchir pour que la mesure vaille 2 est A3 (0110). Le prochain seuil à franchir pour que la mesure vaille 3 est A1 (1110) et le dernier seuil est donc A4. Ainsi, on peut supposer qu’il existe quatre fonctions par palier croissante à seuils Ai dans [0, max] telles que A2 ≤ A3 ≤ A1 ≤ A4.

Remarque sur la notion de difficulté d’un item. On dit que le deuxième item du test est plus facile que le troisième qui est plus facile que le premier qui à son tour est plus facile que le dernier. Ainsi, le niveau de difficulté d’un item est le rang du seuil de sa fonction de mesurage. On pourra confronter cette définition à d’autres définitions galtoniennes, qui, parce qu’elles n’ont pas de caractère général, ne sont pas équivalentes, ce qui peut créer un problème d’ambiguïté voire une confusion conceptuelle dans les discussions psychotechniques (voir 19a).

3. Que faire face à des observations falsifiantes ?

Le raisonnement qui précède s’appuie sur la propriété d’ordre simple de X5). Une conséquence de cette propriété est que la taille (on dit aussi le cardinal) de X5), qui est 5, est strictement inférieure à celle de D, qui est 16 — à cause de l’impossibilité que deux éléments distincts d’un ensemble simplement ordonné soient incomparables. Soit une nouvelle unité d’observation ω6. On peut supposer que sa description résulte du mesurage de sa quantité de compétence par F et cette supposition est testable. Si X(ω6) n’appartient par à X5) qui inventorie toutes les descriptions ordonnées possibles, alors ce n’est pas une mesure de la quantité Q(ω6) par F.

L’hypothèse qu’une description psychotechnique soit une mesure paraît théoriquement invraisemblable dès qu’on admet que la réponse à des items de questionnaire dépende d’une myriade de facteurs inconnus (voir Mesurer avec des réponses à des tests : définition). Par quel miracle une personne quelconque, testée avec les quatre items du test, devrait répondre conformément à la fonction F dont on suppose l’existence sur Ω5 ?

L’attitude logique face à une observation falsifiante, i.e., qui n’appartient pas à X5), consiste à conclure qu’on ne sait pas interpréter cette observation comme une mesure ordinale d’une quantité théorique de compétence. Ce n’est pas l’attitude qui prévaut dans la doctrine de la validation scientifique des tests. L’orthodoxie consiste à adopter une stratégie dérogatoire (comme c’est aussi le cas avec les problèmes de désaccords inter-juges).

Dickes et al. (1994) expriment cette attitude de la manière suivante :

“Mais il aurait suffit de considérer un sixième élève qui aurait répondu, par exemple, [0010], pour que les données ne soient plus représentables par ce modèle, à moins de ne pas opter pour des règles aussi strictes. Jusqu’à un certain degré de dérogation, on peut encore considérer que les données s’accordent avec le modèle. Mais cela suppose qu’on se donne quelque règle supplémentaire, par exemple, qu’il n’y ait pas plus de 5 % de dérogations, pour accepter la représentation obtenue” (p. 141) — Laveault et Grégoire (2002, p. 184) mentionnent qu’en 1950, Guttman a proposé le seuil d’acceptabilité de 10 %.

Cette attitude n’est pas scientifique au sens normatif du terme, bien qu’elle soit adoptée par des personnes qui puissent se qualifier de “scientifiques” au sens de “praticiens d’une démarche scientifique”. L’attitude scientifique consiste à témoigner de l’existence d’observations falsifiantes. Proposer de considérer que ces observations soient négligeables est autre chose, cela relève d’une pratique sociale au sens de la psychologie sociale des organisations ou des institutions. Il se peut que pour des raisons non scientifiques, on ait besoin de faire comme si on savait mesurer la compétence des élèves avec ce test. Si on veut faire croire qu’on sait mesurer la compétence de ce sixième élève, on utilisera son score, 0 + 0 + 1 + 0 = 1, pour “considérer” qu’il mesure sa compétence (de manière ordinale).

Mais ce n’est pas fini. On oubliera que le score n’est qu’une mesure ordinale. Que le score soit une mesure ordinale implique qu’on ne sait pas, même si le modèle n’est pas falsifié, si deux élèves qui ont le même score ont des compétences différentes ou égales. On considèrera que leur compétences sont approximativement égales. On peut comprendre la raison d’une telle distorsion des connaissances scientifiques disponibles si on admet que l’impératif social de comparaison des élèves, c’est-à-dire d’évaluation, prime sur l’impératif d’intégrité scientifique, c’est-à-dire que les scientifiques de la réponse à des items de tests sont professionnellement conduits à affirmer l’ignorance de la signification objective, au sens réaliste du terme, des réponses aux items du test (cf. 1a et 22a), parce qu’on ne dispose pas d’une théorie testable de ces réponses qui ne soit pas falsifiée.

Les scores sont des jugements de valeur fondés sur des descriptions psychotechniques objectives (au sens qu’elles ne posent pas de problème d’accord inter-juges), et on essaie de légitimer ces jugements de valeur en expliquant qu’ils sont compatibles avec des hypothèses scientifiques fausses, mais qu’on “considère” comme acceptables par dérogation.

Références

Dickes, P., Tournois, J., Flieller, A., & Kop, J.-L. (1994). La psychométrie. Paris: Presses Universitaires de France.

Laveault, D. & Grégoire, D. (2002). Introduction aux théories des tests en psychologie et en sciences de l’éducation (2e éd.). Paris : De Boeck Université.

12a. Deux juges décrivent l’état de 19 personnes mais ne mesurent rien

Cet article illustre la différence entre scorer et mesurer, développée de manière générale dans Scorage vs. mesurage, à partir de l’exemple de données proposé par Bruno Falissard (2008) pour présenter le kappa de Cohen. On suppose que deux juges évaluent séparément, en termes de réussite ou d’échec, la manière dont 19 personnes réagissent à un test, dans le but de mesurer la compétence de ces personnes sur l’échelle de scores (0, 1, 2) — 0 si les deux juges “mettent” 0, 1 si un seul juge “met”1, 2 si les deux juges “mettent” 1. La table de contingence est reproduite ci-dessous.

kappa

L’argument consiste en deux points. (1) Les scores, qui sont obtenus en sommant les valeurs numériques qui codent les évaluations des juges (0 pour échec, 1 pour réussite), puisent leur signification non pas dans une opération additive mais dans la convention évaluative suivante : deux jugements de réussite valent mieux qu’un seul qui vaut mieux que zéro — on additionne des unités de valeur, c’est-à-dire des institutions sociales. (2) Comme tous les 2-uplets possibles sont observés, les observations effectuées ne sont pas simplement ordonnées. Par conséquent, les données ne peuvent pas être utilisées comme mesures ordinales de la compétence des personnes — la compétence étant considérée comme grandeur théorique qui déterminerait les jugements. En conclusion, les scores ne sont pas des mesures mais des jugements de valeur.

1. L’application de scorage AX

L’ensemble de départ de X (la description) est l’ensemble des 19 unités d’observation. Son ensemble d’arrivée est l’ensemble des quatre 2-uplets possibles, à savoir D = {00, 01, 10, 11}. Un 2-uplet indique le jugement du premier juge puis le jugement du second juge. En inspectant la table de contingence, on voit que 00 a neuf antécédents (ou bien, neuf unités d’observation ont pour image 00), 01 a un antécédent, 10 a deux antécédents, et 11 a sept antécédents.

L’application d’agrégation A attribue à tout 2-uplet la somme des nombres dont ils sont composés. Ainsi, le score de 1 point agrège 01 et 10. Remarquons que cette somme n’a pas de signification empirique, puisque “échec + réussite = réussite” n’a pas plus de sens que “réussite + échec = réussite”. On confond ici deux opérations logiquement distinctes, à savoir l’addition (+) et la conjonction (et) : “et” n’est pas “+” et réciproquement. La hiérarchisation des valeurs qui est ainsi opérée est conventionnelle. Ainsi, la composition de la description et du scorage, AX, attribue un niveau de valeur à toute unité d’observation dans une échelle à trois niveaux.

2. Pourquoi les descriptions ne sont pas des mesures

Un raisonnement par l’absurde permet de montrer que ces descriptions ne sont pas des mesures ordinales de quantités de compétence que possèderaient les 19 unités d’observation. Le principe du raisonnement par l’absurde consiste à tirer les conséquences de l’hypothèse qu’on veut falsifier, en montrant que ces conséquences sont fausses. Si A implique B et si non-B est vrai, alors non-A est vrai (et A faux).

Supposons, comme on l’a fait précédemment, que les deux juges mesurent la quantité de compétence Q(ω) de toute unité d’observation ω en observant comment elle réagit au test. Alors les jugements d’échec ou de réussite dépendent d’une fonction de mesurage qui les caractérise l’un et l’autre. Appelons ces fonctions F1 et F2 ; ce sont des fonctions par palier croissantes (voir Mesurer avec les réponses à un item, en remplaçant “item” par “juge”).

Considérons deux unités d’observation ω1 et ω2 telles que X(ω1) = 01 et X(ω2) = 10 (les deux 2-uplets sont incomparables). Il existe trois possibilités quantitatives :

  • Q(ω1) = Q(ω2), auquel cas F1[Q(ω1)] = F1[Q(ω2)] et F2[Q(ω1)] = F2[Q(ω2)], ce qui se note aussi F[Q(ω1)] = F[Q(ω2)] avec F = F1F2. Dans ce cas, X n’est pas FQ puisque X(ω1) ≠ X(ω2).
  • Q(ω1) > Q(ω2), auquel cas F1[Q(ω1)] ≥ F1[Q(ω2)] et F2[Q(ω1)] ≥ F2[Q(ω2)]. Dans ce cas, X n’est pas FQ puisque F1Q n’est pas X1 car X1(ω1) < X1(ω2).
  • Q(ω1) < Q(ω2), auquel cas F1[Q(ω1)] ≤ F1[Q(ω2)] et F2[Q(ω1)] ≤ F2[Q(ω2)]. Dans ce cas, X n’est pas FQ puisque F2Q n’est pas X2 car X2(ω1) > X2(ω2).

En conclusion, les observations contredisent l’hypothèse d’un processus de mesurage (ou de l’existence d’une fonction de mesurage). En d’autres termes, les descriptions incomparables 01 et 10 ne peuvent pas être expliquées par un mesurage.

3. Remarque sur les désaccords inter-juges

Dans la perspective du mesurage, les désaccords inter-juges sont possibles mais restreints : leurs descriptions ne doivent pas permettre l’observation d’états incomparables.

Référence

Falissard, B. (2008). Mesurer la subjectivité en santé : perspective méthodologique et statistique. Paris: Masson.

11a. Scorage vs. mesurage psychotechnique

Ce billet demande patience et ténacité parce que certaines notions techniques, simples mais abstraites, sont mobilisées pour une conceptualisation minutieuse. Le cas échéant, le lecteur ne doit pas hésiter à consulter Internet sur certaines notions spécifiques (application, composition d’applications, produit cartésien, fonction croissante…). La notion fondamentale de m-uplet est détaillée dans 20a.

La différence conceptuelle entre le scorage psychotechnique et ce qui serait un authentique mesurage psychotechnique peut être mise en évidence en décrivant l’un et l’autre comme la composition de deux applications, A ○ X vs. F ○ Q. Pour montrer que scorage et mesurage ne sont pas synonymes, il suffit de montrer que les deux applications composées ne sont pas identiques .

Déterminer le score psychotechnique d’une personne à un moment donné consiste à déterminer (via X) puis à scorer (via A) une description psychotechnique de cette personne à ce moment. Mesurer nécessite de supposer que la description psychotechnique résulte d’un processus de mesurage (formalisé par F) d’une certaine quantité déterminée (via Q). Si cette supposition est fausse, la description ne résulte pas d’un mesurage. Le scorage de cette description se présente alors comme une forme de pseudo-mesurage où le codage numérique se substitue au mesurage.

1. Description psychotechnique X

La description psychotechnique est une application X : Ω → D. Son ensemble de départ, Ω, est une population statistique. Une unité d’observation de Ω consiste le plus couramment en une personne e à un certain moment t, la notion de “moment” correspondant à l’intervalle de temps nécessaire à la passation du test ; une unité d’observation quelconque est notée ω = (e, t).

L’ensemble d’arrivée de X est noté D (pour description). Les éléments de D sont des m-uplets, où m indique le nombre d’items du test1. Le caractère gras de la notation D indique que la description est multivariée — elle a la forme d’un m-uplet où m > 1 — (par opposition à univariée — un score est un 1-uplet). Il est facultatif mais je l’utilise ici pour aider à distinguer entre multi- et univarié. La description psychotechnique d’une unité d’observation ω est la donnée de m réponses au test ; cette donnée se note X(ω) = x (pour les notations, cf. 42a).

L’application X est l’application conjointe

X1X2…Xm : Ω → D1×D2×…×Dm = D

(D est un produit cartésien), où tout Xi, i = 1, 2, …, m, associe à toute unité d’observation une et une seule valeur dans l’échelle des valeurs descriptives de l’item i.

2. Règle de scorage psychotechnique A

Une règle de scorage psychotechnique est une application notée A : D → S (A pour agrégation). Son ensemble de départ est l’ensemble d’arrivée de X, c’est-à-dire l’ensemble des m-uplets qui peuvent être envisagés étant donné le test. L’ensemble d’arrivée de A est noté S pour scores. Le score d’un m-uplet quelconque de D est déterminé par des “règles de transformation”, ou encore d’agrégation (d’où la notation A). Par exemple, le score de (0, 1, 1) est 2 points si on utilise la règle usuelle de l’addition des nombres qui se trouvent dans le m-uplet (on parle aussi de score composite, cf. 17a).

3. Scorage psychotechnique A ○ X

Tester une personne à un certain moment avec un certain test consiste à déterminer ses réponses aux m items du test — X(ω) — puis à attribuer un score à cette description — A[X(ω)]. Cette composition d’applications se note A ○ X. Le score de l’unité d’observation ω est

(A ○ X)(ω) = A[X(ω)] aussi noté X(ω).

4. Hypothèse quantitative Q

Le mesurage repose sur l’hypothèse fondamentale qu’une quantité existe (on mesure une quantité ou on ne mesure pas). Cette hypothèse peut se formuler comme l’hypothèse de l’existence d”une application Q : Ω → [0, max], qui à toute unité d’observation de Ω, associe une et une seule quantité q définie dans le segment [0, max], où “max” désigne la quantité maximale possible.

La notion statistique d’unité d’observation appelle une remarque particulière dans ce contexte. Supposer que la personne possède une quantité psychologique instantanée est une chose, supposer que cette quantité ne varie pas dans l’intervalle de temps nécessaire à la passation du test en est une autre. La convention d’invariance de la quantité à mesurer pendant la passation du test est nécessaire pour tester la mesurabilité de la quantité visée par le test (voir la convention C).

5. Fonction de mesurage F

La fonction de mesurage F : [0, max] → D est définie sur le segment [0, max] et prend ses valeurs dans l’ensemble D. Soit un test de m items. Pour tout item i du test, on suppose qu’il existe une fonction croissante Fi : [0, max] → Di, où Di est l’échelle des valeurs descriptives de l’item i (voir l’article Mesurer avec les réponses à un item). La fonction F est la fonction conjointe

F1F2…Fm : [0, max] → D1×D2×…×Dm = D.

La mesure de la quantité q par F est un m-uplet de valeurs, qu’on note y. F(q) = y.

Une propriété critique des valeurs de la fonction F est qu’elles sont simplement ordonnées parce que toute fonction Fi est croissante. Ce point est détaillé dans la section 6. Cette propriété d’ordre simple, ou encore de comparabilité, rend falsifiable la proposition selon laquelle deux descriptions particulières X(ω1) et X(ω2) résultent du mesurage des quantités Q(ω1) et Q(ω2). Il suffit que X(ω1) et X(ω2) soient incomparables, et on note X(ω1) <> X(ω2), pour que ces descriptions ne soient pas des mesures ordinales.

6. Mesurage psychotechnique F ○ Q

Si un test psychologique permet de mesurer la quantité psychologique d’une unité d’observation ω, c’est que cette quantité, Q(ω), détermine la description psychotechnique F[Q(ω)]. Le mesurage psychotechnique est donc la composition F ○ Q.

Soient les unités d’observation ω1 et ω2. Leurs mesures sont respectivement (F ○ Q)(ω1) = F[Q(ω1)] = Y(ω1) et (F ○ Q)(ω2) = F[Q(ω2)] = Y(ω2), où la lettre Y désigne l’application F ○ Q.

Ordre produit direct (définition). On dit que F[Q(ω1)] ≥ F[Q(ω2)] si et seulement si quel que soit i, Fi[Q(ω1)] ≥ Fi[Q(ω2)]. Cette définition s’applique aussi à X.

Théorème. F est croissante.

Démonstration

Soient ω1 et ω2 tels que Q(ω1) ≠ Q(ω2) :

  • Si Q(ω1) > Q(ω2), alors quel que soit i = 1, 2, …, m, Fi[Q(ω1)] ≥ Fi[Q(ω2)] donc F[Q(ω1)] ≥ F[Q(ω2)].
  • Si Q(ω1) < Q(ω2) on se ramène au cas précédent en intervertissant les indices de ω.

Comparabilité (ordre simple). La croissance de F implique que deux mesures y1 et y2 sont comparables.

7. Scorage vs. mesurage

Scorage et mesurage sont des opérations distinctes, puisque X = A ○ X n’est pas la même opération que Y = F ○ Q. Autrement dit, disposer d’un score composite X(ω) ne signifie pas qu’il existe une fonction croissante F telle que X = FQ.

Soit un ensemble Ωn de n unités d’observation. S’il existe une fonction F telle que l’image de Ωn par X soit égale à l’image de Ωn par F ○ Q, c’est-à-dire Xn) = (F ○ Q)(Ωn), alors on peut supposer que les descriptions psychotechniques Xn) sont des mesures ordinales des quantités Q(Ωn). En d’autres termes, ces descriptions sont simplement ordonnées, c’est-à-dire que les descriptions de deux unités d’observation distinctes sont égales ou strictement ordonnées. Le score exprime alors cette propriété ordinale de comparabilité.

Si une telle fonction F n’existe pas, on ne sait pas mesurer les quantités Q(Ωn). Il est possible que cette ignorance découle de l’inexistence des quantités (l’hypothèse Q est fausse), ou de notre incapacité à déterminer les conditions expérimentales qui permettent de supposer l’existence de F sans être contredit par les observations.

S’il existe deux unités d’observations ω1 et ω2 dont les descriptions sont incomparables, c’est-à-dire qu’il existe i et j tels que Xi(ω1) > Xi(ω2) et Xj(ω1) < Xj(ω2), alors F n’existe pas et donc on ne peut pas affirmer que les descriptions résultent d’un mesurage par F des quantités supposées.

8. Exercice non corrigé

  1. Un 3-uplet est par exemple (0, 1, 1), où 0 et 1 indiquent respectivement une réponse incorrecte et une réponse correcte. []