17a. Combien font deux oranges plus trois citrons ? Le méli-mélo conceptuel de Laveault et Grégoire

Dans leur « Introduction aux théories des tests en psychologie et en sciences de l’éducation » (2002), Dany Laveault et Jacques Grégoire abordent la notion de score composite, « résultat de l’addition des scores aux items du test » (p. 98), en posant la question « combien font deux oranges plus trois citrons ? ». On pourrait voir dans le choix d’un tel titre de paragraphe l’intention de critiquer l’usage des scores composites : « et » n’est pas « plus » et les scores composites ont une signification obscure. Mais quand on lit la suite, on se rend compte que la portée critique de la question semble leur échapper : les auteurs exposent trois façons d’y répondre :

« 1. nous pouvons refuser de faire l’addition, considérant qu’il s’agit de deux catégories différentes ;

2. nous pouvons ramener chaque ensemble à un ensemble qui les contient tous les deux (p.e. la catégorie des fruits) et effectuer l’opération à l’intérieur de cet ensemble plus large. Dans notre exemple, la réponse est alors ‘cinq agrumes’ ou ‘cinq fruits’ ;

3. nous pouvons aussi ignorer les caractéristiques communes à chaque ensemble et répondre comme plusieurs jeunes enfants de six ans : ‘deux pommes plus trois oranges font cinq compotes' » (p. 98).

Les auteurs poursuivent en établissant un parallèle entre ces trois attitudes et trois manières de justifier le score composite. La première attitude consiste à justifier un « profil de scores », c’est-à-dire un profil de sous-scores composites, chaque sous-score correspondant à un sous-test du test. La seconde attitude, justifiant le score composite, consiste à négliger les spécificités des items pour s’en tenir au « postulat qu’il ont tous au moins quelque chose en commun » (p. 98). La troisième solution consiste à restreindre la signification du score composite à un comptage : « A la question de départ, les réponses ‘cinq végétaux’ ou ‘cinq choses’ n’ont de précis que le chiffre » (p. 98).  Ce billet identifie quatre erreurs dans leur propos.

1. L’analogie entre addition des scores élémentaires et addition d’objets hétéroclites

Dans l’analogie, les scores aux items (les scores élémentaires) du test jouent le rôle d’objets hétéroclites (deux oranges, o1, o2 et trois citrons c1, c2 et c3). Mais l’analogie s’arrête quand on s’aperçoit de ce que, si les oranges et les citrons de l’ensemble {o1, o2, c1, c2, c3} peuvent constituer des unités de compte fondées sur l’abstraction (combien de fruits et, de manière plus générale, d’objets, compte-t-on ?), les scores élémentaires ne sont pas nécessairement des unités de compte. On peut compter le nombre de réussites lorsque les réponses aux items sont scorées 1 pour réussite et 0 pour échec ; par exemple, on compte trois réussites dans le 6-uplet (0, 0, 1, 0, 1, 1). Lorsque les formats de réponse sont des échelles de Likert, les scores élémentaires n’ont pas de signification comptable (pour une approche détaillée de la réponse à un test, voir 42a) ; par exemple, que compter dans le 5-uplet (2, 5, 2, 1, 7), où les nombres indiquent un degré d’accord sur une échelle de Likert en sept points ?

Justifier l’additivité des scores élémentaires en utilisant l’analogie d’une collection d’objets suppose de restreindre le propos aux tests formés par des items dont la réponse est décrite dans le référentiel {échec, réussite}. Ne pas expliciter cette restriction, c’est commettre une erreur de généralisation : on peut additionner les réussites donc (invalidité logique) tous les score élémentaires sont additifs (au sens du comptage de certains types d’événements).

2. Des sous-scores pour des sous-catégories

On peut très bien distinguer des catégories d’items comme on distingue la catégorie des oranges de celle des citrons ; par exemple, dans un test de personnalité, on pourra distinguer les items d’anxiété des items de dépression. On pourra dénombrer les items de chaque catégorie mais cela n’implique pas que les scores élémentaires aux items d’une même catégorie soient additifs. Or qui dit « profil de scores » dit « additivité » des scores aux items d’une certaine catégorie.

Laveault et Grégoire n’explicitent pas le problème de l’additivité des scores élémentaires parce qu’ils n’explicitent pas le problème du mesurage : en quoi un score élémentaire est-il une mesure ? Si un score élémentaire est une mesure, c’est une mesure ordinale, c’est-à-dire que ce score est le résultat d’un processus de mesurage qui, à toute quantité d’une certaine grandeur, permet l’attribution d’un certain score élémentaire. Ce processus est formalisé par une fonction croissante par palier (cf. 5a et cours de mesurage, vidéo 3). Si on suppose que les scores élémentaires de (2, 5, 2, 1, 7) mesurent la même quantité q via cinq fonctions de mesurage (une par item), chaque score désigne un segment de quantités qui contient q et l’addition des scores consiste, par hypothèse, à additionner des segments, ce qui n’a pas de sens parce que l’addition n’est pas définie sur des segments. Ainsi, une deuxième erreur dans le propos des auteurs consiste à ne pas spécifier le problème théorique que posent les scores composites lorsqu’on veut les interpréter comme des mesures (voir aussi, pour une approche formalisée, 11a).

3. Évaluer

Une troisième erreur de Laveault et Grégoire consiste dans l’omission de la finalité évaluative des scores composites. La note d’une copie a pour vocation non pas de mesurer quoique ce soit mais de donner une valeur sociale à un étudiant via sa copie : l’étudiant obtiendra (ou pas) telle unité de valeur et, finalement, tel diplôme. Le score à un test est utile s’il permet de conférer à l’individu qui a obtenu ce score une certaine valeur psychologique (par exemple, on dira que ses fonctions cognitives sont efficientes, déficientes, normales, ou que sa personnalité est normale ou pathologique, en s’appuyant sur une norme psychotechnique).

Si on réalise que, comme dans une copie, les scores élémentaires sont des unités de valeur relatives à un certain construit (et peu importe que ce construit soit « pur » ou bien « composite »), il n’y a plus de problème d’additivité puisqu’on additionne des unités de valeur dans le cadre d’une convention sociale d’évaluation. La question à laquelle on peut répondre n’est pas « combien font deux oranges plus trois citrons », mais « que valent deux oranges et trois citrons ? » Si les oranges et les citrons forment un lot, l’addition des valeurs de chacun de ces fruits est la valeur du lot qu’ils composent — comme en économie, où le prix rend (la valeur de) toute chose comparable à (la valeur de) toute autre chose (voir aussi Jacquard, 1991, chapitre « L’économie de marché, masque de la réalité »).

4. Additionner des scores d’items suppose de postuler que « ces items mesurent sensiblement le même trait » (p. 98)

Une quatrième erreur contenue dans le propos des auteurs réside dans le rejet implicite du principe logique de non-contradiction. Quelle définition du mesurage serait compatible avec la possibilité de mesurer « sensiblement le même trait » ? Soit les items considérés mesurent le même trait (où « trait » est synonyme de « grandeur »), soit ils mesurent des traits distincts. Comment concevoir que deux traits distincts soient « sensiblement » identiques ? L’idée du « sensiblement le même » est une impossibilité logique : « être le même que » est une relation d’équivalence :  a est le même que b ou bien il ne l’est pas.

5. Conclusion

Si on reconnaît que les scores servent à situer les gens dans des échelles de valeurs, comme les prix servent à donner une valeur monétaire à toute chose qui tombe dans le domaine du marché1, alors on reconnaît que le problème de la validation des tests est un problème de philosophie sociale. Ce problème consiste à savoir comment se fabrique un « marché » des valeurs psychologiques et comment ce marché fixe les « prix » — la technique classique consistant à établir ce qu’on appelle malicieusement, dans la doctrine, un étalonnage, ce qui n’a rien à voir avec l’étalonnage instrumental, par exemple l’étalonnage d’un pH-mètre. Et on reconnaît que l’évaluation psychotechnique relève des sciences sociales comme le droit et l’économie : c’est cet aspect proprement social, par opposition à naturel, que la doctrine de la validation des tests escamote en habituant ses thuriféraires à l’idée que les tests sont des instruments de mesure.

Référence

Jacquard, A. (1991). Voici le temps du monde fini. Paris : Seuil.

Laveault, D. & Grégoire, D. (2002). Introduction aux théories des tests en psychologie et en sciences de l’éducation (2e éd.). Paris : De Boeck Université.

Cite this article as: Stéphane Vautier, "17a. Combien font deux oranges plus trois citrons ? Le méli-mélo conceptuel de Laveault et Grégoire", in Épistémologie de la psychologie, 28/05/2014, https://epistemo.hypotheses.org/1243.

  1. Par exemple, le marché du droit à polluer monétarise l’environnement naturel. []

2 réflexions au sujet de « 17a. Combien font deux oranges plus trois citrons ? Le méli-mélo conceptuel de Laveault et Grégoire »

  1. Labassa Patrice

    Bonjour,
    17a.1. il est dit que : »Additionner des scores d’items suppose de postuler que “ces items mesurent sensiblement le même trait” « m’amène à comprendre que :

    Si les items mesurent sensiblement le même trait (ce que l’on admet puisqu’on additionne les scores), et si le trait est relativement constant entre le début et la fin du test, alors on devrait avoir le même score pour tous les items.
    Mais alors, quel est l’intérêt de mesurer plusieurs fois le même trait? Lorsque des joueurs de pétanques mesurent plusieurs fois chacun la distance entre une boule et le cochonnet, ce n’est pas la qualité de la mesure elle même qui est remise en question, mais bel et bien la qualité de la bonne foi de ceux qui mesurent.
    Autrement dit, additionner les scores d’items mesurant le même trait (ou sensiblement considérés comme tels), c’est admettre que la mesure faite par chacun des items n’est pas fiable.

    Suis-je dans l’erreur ou est-ce que je commence à comprendre mon cours ?
    Cordialement.

    Répondre
    1. Stéphane Vautier

      Examinons la validité logique du raisonnement « Si les items mesurent sensiblement le même trait (ce que l’on admet puisqu’on additionne les scores), et si le trait est relativement constant entre le début et la fin du test, alors on devrait avoir le même score pour tous les items ». Que signifie « les items mesurent sensiblement le même trait » ? Aucun rapport avec l’addition des scores. Les scores ne sont que le résultat du codage numérique des réponses aux items. L’addition de ces nombres n’implique pas que « les items mesurent sensiblement le même trait ». L’addition est possible parce qu’on a des nombres et on a des nombres parce qu’on a codé les réponses avec des nombres. L’addition laisse intacte la question de savoir si les réponses aux items sont des mesures et si oui, ce qu’elles mesurent. Si bien qu’on ne sait pas ce que signifie « les items mesurent sensiblement le même trait ». Cette locution contient deux sources d’ambiguïté.

      Première source d’ambiguïté
      Un trait désigne une grandeur, c’est-à-dire un segment [0, max] auquel on attribue une certaine qualité (par exemple, le temps, la distance, la masse, la température, l’anxiété, l’intelligence, etc.). Dès lors, deux deux choses l’une : soit deux traits sont qualitativement distincts, soit ils sont identiques. La locution « deux traits mesurés sont sensiblement les mêmes » indique que celui qui l’énonce n’a pas décidé si les deux traits sont distincts ou identiques. Si deux traits sont distincts, ils définissent un espace à deux dimensions et il faut garder deux mesures pour décrire correctement l’objet auquel on s’intéresse (le répondant) — si on suppose que les variations sur les deux traits sont liées par une fonction, il faut garder les deux types de mesure pour pouvoir tester une telle hypothèse. L’addition au sens non pas mathématique mais scientifique (psychologique) suppose qu’on additionne des quantités de la même sorte donc elle est ici hors sujet. Si deux traits sont identiques, il n’y a qu’un trait.

      Deuxième source d’ambiguïté
      Comme les items ne sont pas traités simultanément, il est possible qu’ils ne mesurent pas la même quantité du trait si celle-ci peut varier dans de courtes périodes. Dans cette perspective, le problème consiste à étudier la variabilité temporelle de la réponse item par item et on bute sur le fait qu’un répondant répond dans un contexte conversationnel : cela n’a pas de sens de lui demander de répondre encore et encore au même item, parce que la réponse n’est pas une mesure, mais un comportement de communication. Si on admet que la quantité ne varie pas dans le délai nécessaire au recueil des réponses à tous les items, il faut maintenant se demander quelle est la fonction de mesurage de chaque item. Rien ne dit a priori que cette fonction soit la même (les seuils peuvent être différents pour chaque item). Donc impossible de déduire de la prémisse complète que la réponse ne dépend pas de l’item (la prémisse complète étant : les réponses aux items mesurent la même quantité d’un trait donné selon une fonction de mesurage qu’on ne connaît pas). La prémisse complète implique que si la quantité varie du test au retest, le m-uplet de réponses varie de manière ordinale : si on détecte des changements de réponse pour certains items, ces changements ont la même direction, qui résulte de ce que la quantité de trait a augmenté ou diminué, pas les deux à la fois.

      Le mesurage d’une distance pose le problème du caractère approximatif du langage descriptif, puisque l’utilisateur d’un mètre ne peut pas spécifier un point, mais seulement un intervalle. Les joueurs de pétanque ne sont pas nécessairement interchangeables, en effet. Si on suppose qu’il existe une fonction de mesurage pour un couple (répondant, item), aucun problème d’approximation, c’est-à-dire aucun problème pour déterminer la réponse. Soit la réponse est une mesure et elle est fiable, soit ce n’est pas une mesure. L’utilisation de la notion d’erreur de mesure en psychologie est une façon de refuser par principe la possibilité qu’une réponse à un item ne soit pas une mesure (cf., pour aller plus loin, la théorie classique des tests).

      Répondre

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *