Archives par étiquette : score composite

17a. Combien font deux oranges plus trois citrons ? Le méli-mélo conceptuel de Laveault et Grégoire

Dans leur “Introduction aux théories des tests en psychologie et en sciences de l’éducation” (2002), Dany Laveault et Jacques Grégoire abordent la notion de score composite, “résultat de l’addition des scores aux items du test” (p. 98), en posant la question “combien font deux oranges plus trois citrons ?”. On pourrait voir dans le choix d’un tel titre de paragraphe l’intention de critiquer l’usage des scores composites : “et” n’est pas “plus” et les scores composites ont une signification obscure. Mais quand on lit la suite, on se rend compte que la portée critique de la question semble leur échapper : les auteurs exposent trois façons d’y répondre :

“1. nous pouvons refuser de faire l’addition, considérant qu’il s’agit de deux catégories différentes ;

2. nous pouvons ramener chaque ensemble à un ensemble qui les contient tous les deux (p.e. la catégorie des fruits) et effectuer l’opération à l’intérieur de cet ensemble plus large. Dans notre exemple, la réponse est alors ‘cinq agrumes’ ou ‘cinq fruits’ ;

3. nous pouvons aussi ignorer les caractéristiques communes à chaque ensemble et répondre comme plusieurs jeunes enfants de six ans : ‘deux pommes plus trois oranges font cinq compotes'” (p. 98).

Les auteurs poursuivent en établissant un parallèle entre ces trois attitudes et trois manières de justifier le score composite. La première attitude consiste à justifier un “profil de scores”, c’est-à-dire un profil de sous-scores composites, chaque sous-score correspondant à un sous-test du test. La seconde attitude, justifiant le score composite, consiste à négliger les spécificités des items pour s’en tenir au “postulat qu’il ont tous au moins quelque chose en commun” (p. 98). La troisième solution consiste à restreindre la signification du score composite à un comptage : “A la question de départ, les réponses ‘cinq végétaux’ ou ‘cinq choses’ n’ont de précis que le chiffre” (p. 98).  Ce billet identifie quatre erreurs dans leur propos.

1. L’analogie entre addition des scores élémentaires et addition d’objets hétéroclites

Dans l’analogie, les scores aux items (les scores élémentaires) du test jouent le rôle d’objets hétéroclites (deux oranges, o1, o2 et trois citrons c1, c2 et c3). Mais l’analogie s’arrête quand on s’aperçoit de ce que, si les oranges et les citrons de l’ensemble {o1, o2, c1, c2, c3} peuvent constituer des unités de compte fondées sur l’abstraction (combien de fruits et, de manière plus générale, d’objets, compte-t-on ?), les scores élémentaires ne sont pas nécessairement des unités de compte. On peut compter le nombre de réussites lorsque les réponses aux items sont scorées 1 pour réussite et 0 pour échec ; par exemple, on compte trois réussites dans le 6-uplet (0, 0, 1, 0, 1, 1). Lorsque les formats de réponse sont des échelles de Likert, les scores élémentaires n’ont pas de signification comptable (pour une approche détaillée de la réponse à un test, voir 42a) ; par exemple, que compter dans le 5-uplet (2, 5, 2, 1, 7), où les nombres indiquent un degré d’accord sur une échelle de Likert en sept points ?

Justifier l’additivité des scores élémentaires en utilisant l’analogie d’une collection d’objets suppose de restreindre le propos aux tests formés par des items dont la réponse est décrite dans le référentiel {échec, réussite}. Ne pas expliciter cette restriction, c’est commettre une erreur de généralisation : on peut additionner les réussites donc (invalidité logique) tous les score élémentaires sont additifs (au sens du comptage de certains types d’événements).

2. Des sous-scores pour des sous-catégories

On peut très bien distinguer des catégories d’items comme on distingue la catégorie des oranges de celle des citrons ; par exemple, dans un test de personnalité, on pourra distinguer les items d’anxiété des items de dépression. On pourra dénombrer les items de chaque catégorie mais cela n’implique pas que les scores élémentaires aux items d’une même catégorie soient additifs. Or qui dit “profil de scores” dit “additivité” des scores aux items d’une certaine catégorie.

Laveault et Grégoire n’explicitent pas le problème de l’additivité des scores élémentaires parce qu’ils n’explicitent pas le problème du mesurage : en quoi un score élémentaire est-il une mesure ? Si un score élémentaire est une mesure, c’est une mesure ordinale, c’est-à-dire que ce score est le résultat d’un processus de mesurage qui, à toute quantité d’une certaine grandeur, permet l’attribution d’un certain score élémentaire. Ce processus est formalisé par une fonction croissante par palier (cf. 5a et cours de mesurage, vidéo 3). Si on suppose que les scores élémentaires de (2, 5, 2, 1, 7) mesurent la même quantité q via cinq fonctions de mesurage (une par item), chaque score désigne un segment de quantités qui contient q et l’addition des scores consiste, par hypothèse, à additionner des segments, ce qui n’a pas de sens parce que l’addition n’est pas définie sur des segments. Ainsi, une deuxième erreur dans le propos des auteurs consiste à ne pas spécifier le problème théorique que posent les scores composites lorsqu’on veut les interpréter comme des mesures (voir aussi, pour une approche formalisée, 11a).

3. Évaluer

Une troisième erreur de Laveault et Grégoire consiste dans l’omission de la finalité évaluative des scores composites. La note d’une copie a pour vocation non pas de mesurer quoique ce soit mais de donner une valeur sociale à un étudiant via sa copie : l’étudiant obtiendra (ou pas) telle unité de valeur et, finalement, tel diplôme. Le score à un test est utile s’il permet de conférer à l’individu qui a obtenu ce score une certaine valeur psychologique (par exemple, on dira que ses fonctions cognitives sont efficientes, déficientes, normales, ou que sa personnalité est normale ou pathologique, en s’appuyant sur une norme psychotechnique).

Si on réalise que, comme dans une copie, les scores élémentaires sont des unités de valeur relatives à un certain construit (et peu importe que ce construit soit “pur” ou bien “composite”), il n’y a plus de problème d’additivité puisqu’on additionne des unités de valeur dans le cadre d’une convention sociale d’évaluation. La question à laquelle on peut répondre n’est pas “combien font deux oranges plus trois citrons”, mais “que valent deux oranges et trois citrons ?” Si les oranges et les citrons forment un lot, l’addition des valeurs de chacun de ces fruits est la valeur du lot qu’ils composent — comme en économie, où le prix rend (la valeur de) toute chose comparable à (la valeur de) toute autre chose (voir aussi Jacquard, 1991, chapitre “L’économie de marché, masque de la réalité”).

4. Additionner des scores d’items suppose de postuler que “ces items mesurent sensiblement le même trait” (p. 98)

Une quatrième erreur contenue dans le propos des auteurs réside dans le rejet implicite du principe logique de non-contradiction. Quelle définition du mesurage serait compatible avec la possibilité de mesurer “sensiblement le même trait” ? Soit les items considérés mesurent le même trait (où “trait” est synonyme de “grandeur”), soit ils mesurent des traits distincts. Comment concevoir que deux traits distincts soient “sensiblement” identiques ? L’idée du “sensiblement le même” est une impossibilité logique : “être le même que” est une relation d’équivalence :  a est le même que b ou bien il ne l’est pas.

5. Conclusion

Si on reconnaît que les scores servent à situer les gens dans des échelles de valeurs, comme les prix servent à donner une valeur monétaire à toute chose qui tombe dans le domaine du marché1, alors on reconnaît que le problème de la validation des tests est un problème de philosophie sociale. Ce problème consiste à savoir comment se fabrique un “marché” des valeurs psychologiques et comment ce marché fixe les “prix” — la technique classique consistant à établir ce qu’on appelle malicieusement, dans la doctrine, un étalonnage, ce qui n’a rien à voir avec l’étalonnage instrumental, par exemple l’étalonnage d’un pH-mètre. Et on reconnaît que l’évaluation psychotechnique relève des sciences sociales comme le droit et l’économie : c’est cet aspect proprement social, par opposition à naturel, que la doctrine de la validation des tests escamote en habituant ses thuriféraires à l’idée que les tests sont des instruments de mesure.

Référence

Jacquard, A. (1991). Voici le temps du monde fini. Paris : Seuil.

Laveault, D. & Grégoire, D. (2002). Introduction aux théories des tests en psychologie et en sciences de l’éducation (2e éd.). Paris : De Boeck Université.

  1. Par exemple, le marché du droit à polluer monétarise l’environnement naturel. []

11a. Scorage vs. mesurage psychotechnique

Cet article demande patience et ténacité parce que certaines notions techniques, simples mais abstraites, sont mobilisées pour une conceptualisation minutieuse. Le cas échéant, le lecteur ne doit pas hésiter à consulter Internet sur certaines notions spécifiques (application, composition d’applications, produit cartésien, fonction croissante…). La notion fondamentale de m-uplet est détaillée dans 20a.

La différence conceptuelle entre le scorage psychotechnique et ce qui serait un authentique mesurage psychotechnique peut être mise en évidence en décrivant l’un et l’autre comme la composition de deux applications, A ○ X vs. F ○ Q. Pour montrer que scorage et mesurage ne sont pas synonymes, il suffit de montrer que les deux applications composées ne sont pas les mêmes applications.

  • Déterminer le score psychotechnique d’une personne à un moment donné consiste à déterminer (via X) puis à scorer (via A) une description psychotechnique de cette personne à ce moment.
  • Mesurer nécessite de supposer que la description psychotechnique résulte d’un processus de mesurage (formalisé par F) d’une certaine quantité déterminée (via Q). Si cette supposition est fausse, la description ne résulte pas d’un mesurage. Le scorage de cette description se présente alors comme une forme de pseudo-mesurage où le codage numérique se substitue au mesurage.

1. Description psychotechnique X

La description psychotechnique est une application X : Ω → D. Son ensemble de départ, Ω, est une population statistique. Une unité d’observation de Ω consiste le plus couramment en une personne e à un certain moment t, la notion de “moment” correspondant à l’intervalle de temps nécessaire à la passation du test ; une unité d’observation quelconque est notée ω = (e, t).

L’ensemble d’arrivée de X est noté D (pour description). Les éléments de D sont des m-uplets, où m indique le nombre d’items du test1. Le caractère gras de la notation D indique que la description est multivariée — elle a la forme d’un m-uplet où m > 1 — (par opposition à univariée — un score est un 1-uplet). Il est facultatif mais je l’utilise ici pour aider à distinguer entre multi- et univarié. La description psychotechnique d’une unité d’observation ω est la donnée de m réponses au test ; cette donnée se note X(ω) = x (pour les notations, cf. 42a).

L’application X est l’application conjointe

X1X2…Xm : Ω → D1×D2×…×Dm = D

(D est un produit cartésien), où tout Xi, i = 1, 2, …, m, associe à toute unité d’observation une et une seule valeur dans l’échelle des valeurs descriptives de l’item i.

2. Règle de scorage psychotechnique A

Une règle de scorage psychotechnique est une application notée A : D → S (A pour agrégation). Son ensemble de départ est l’ensemble d’arrivée de X, c’est-à-dire l’ensemble des m-uplets qui peuvent être envisagés étant donné le test. L’ensemble d’arrivée de A est noté S pour scores. Le score d’un m-uplet quelconque de D est déterminé par des “règles de transformation”, ou encore d’agrégation numérique (d’où la notation A). Par exemple, le score de (0, 1, 1) est 2 points si on utilise la règle usuelle de l’addition des nombres qui se trouvent dans le m-uplet (on parle aussi de score composite, cf. 17a).

3. Scorage psychotechnique A ○ X

Tester une personne à un certain moment avec un certain test consiste à déterminer ses réponses aux m items du test — X(ω) — puis à attribuer un score à cette description — A[X(ω)]. Cette composition d’applications se note A ○ X. Le score de l’unité d’observation ω est

(A ○ X)(ω) = A[X(ω)] aussi noté X(ω).

4. Hypothèse quantitative Q

Le mesurage repose sur l’hypothèse fondamentale qu’une quantité existe (on mesure une quantité ou on ne mesure pas). Cette hypothèse peut se formuler comme l’hypothèse de l’existence d”une application Q : Ω → [0, max], qui à toute unité d’observation de Ω, associe une et une seule quantité q définie dans le segment [0, max], où “max” désigne la quantité maximale possible.

Remarque. La notion statistique d’unité d’observation appelle une remarque particulière dans ce contexte. Supposer que la personne possède une quantité psychologique instantanée est une chose, supposer que cette quantité ne varie pas dans l’intervalle de temps nécessaire à la passation du test en est une autre. La convention d’invariance de la quantité à mesurer pendant la passation du test est nécessaire pour tester la mesurabilité de la quantité visée par le test (voir la convention C).

5. Fonction de mesurage F

La fonction de mesurage F : [0, max] → D est définie sur le segment [0, max] et prend ses valeurs dans l’ensemble D. Soit un test de m items. Pour tout item i du test, on suppose qu’il existe une fonction croissante Fi : [0, max] → Di, où Di est l’échelle des valeurs descriptives de l’item i (voir l’article Mesurer avec les réponses à un item). La fonction F est la fonction conjointe

F1F2…Fm : [0, max] → D1×D2×…×Dm = D.

La mesure de la quantité q par F est un m-uplet de valeurs, qu’on note y. F(q) = y.

Une propriété critique des valeurs de la fonction F est qu’elles sont simplement ordonnées parce que toute fonction Fi est croissante. Ce point est détaillé dans la section 6. Cette propriété d’ordre simple, ou encore de comparabilité, rend falsifiable la proposition selon laquelle deux descriptions particulières X(ω1) et X(ω2) résultent du mesurage des quantités Q(ω1) et Q(ω2). Il suffit que X(ω1) et X(ω2) soient incomparables, et on note X(ω1) <> X(ω2), pour que ces descriptions ne soient pas des mesures ordinales.

6. Mesurage psychotechnique F ○ Q

Si un test psychologique permet de mesurer la quantité psychologique d’une unité d’observation ω, c’est que cette quantité, Q(ω), détermine la description psychotechnique F[Q(ω)]. Le mesurage psychotechnique est donc la composition F ○ Q.

Soient les unités d’observation ω1 et ω2. Leurs mesures sont respectivement (F ○ Q)(ω1) = F[Q(ω1)] = Y(ω1) et (F ○ Q)(ω2) = F[Q(ω2)] = Y(ω2), où la lettre Y désigne l’application F ○ Q.

Ordre produit direct (définition). On dit que F[Q(ω1)] ≥ F[Q(ω2)] si et seulement si quel que soit i, Fi[Q(ω1)] ≥ Fi[Q(ω2)]. Cette définition s’applique aussi à X.

Théorème. F est croissante.

Démonstration

Soient ω1 et ω2 tels que Q(ω1) ≠ Q(ω2) :

  • Si Q(ω1) > Q(ω2), alors quel que soit i = 1, 2, …, m, Fi[Q(ω1)] ≥ Fi[Q(ω2)] donc F[Q(ω1)] ≥ F[Q(ω2)].
  • Si Q(ω1) < Q(ω2) on se ramène au cas précédent en intervertissant les indices de ω.

Comparabilité (ordre simple). La croissance de F implique que deux mesures y1 et y2 sont comparables.

7. Scorage vs. mesurage

Scorage et mesurage sont des opérations distinctes, puisque X = A ○ X n’est pas la même opération que Y = F ○ Q. Autrement dit, disposer d’un score composite X(ω) n’implique pas qu’il existe une fonction croissante F telle que X = FQ.

Soit un ensemble Ωn de n unités d’observation. S’il existe une fonction F telle que l’image de Ωn par X soit égale à l’image de Ωn par F ○ Q, c’est-à-dire Xn) = (F ○ Q)(Ωn), alors les descriptions psychotechniques Xn) sont des mesures ordinales des quantités Q(Ωn). Par conséquent, ces descriptions sont simplement ordonnées, c’est-à-dire que les descriptions de deux unités d’observation distinctes sont égales ou strictement ordonnées. Le score exprime alors cette propriété ordinale de comparabilité.

Si une telle fonction F n’existe pas, on ne sait pas mesurer les quantités Q(Ωn). Il est possible que cette ignorance découle de l’inexistence des quantités (l’hypothèse Q est fausse), ou de notre incapacité à déterminer les conditions expérimentales qui permettent de supposer l’existence de F sans être contredit par les observations.

S’il existe deux unités d’observations ω1 et ω2 dont les descriptions sont incomparables, c’est-à-dire qu’il existe i et j tels que Xi(ω1) > Xi(ω2) et Xj(ω1) < Xj(ω2), alors F n’existe pas et donc on ne peut pas affirmer que les descriptions résultent d’un mesurage par F des quantités supposées.

8. Exercice non corrigé

  1. Un 3-uplet est par exemple (0, 1, 1), où 0 et 1 indiquent respectivement une réponse incorrecte et une réponse correcte. []