Cet article montre que le modèle hiérarchique de Guttman, qui stipule que les descriptions auxquelles on s’intéresse sont simplement ordonnées (1), est un modèle de mesure ordinale (2) et discute l’attitude à adopter face à des observations falsifiantes (3). Ce modèle s’applique à la situation suivante : plusieurs personnes passent le même test constitué de plusieurs items et on espère pouvoir utiliser les descriptions résultantes comme des mesures permettant de comparer les élèves les uns par rapport aux autres.

1. Les descriptions sont simplement ordonnées

Dickes, Tournois, Flieller et Kop (1994, p. 140) présentent l’exemple de cinq élèves qui passent un test de quatre items, les réponses à chaque item étant cotées 0 (pour échec) ou 1 (pour réussite). L’application descriptive X: Ω → D est définie de Ω, l’ensemble de toutes les unités d’observation possibles, dans D = {0, 1}⁴ = {0000, 0001, …, 1111}. D contient 2⁴ = 16 4-uplets. De manière plus détaillée, X = X₁X₂X₃X₄, avec X_i: Ω → {0, 1}, i indexant les items du test.

L’image de Ω₅ = {ω₁, ω₃, ω₃, ω₄, ω₅} par X, X(Ω₅), est {0000, 0100, 0110, 1110, 1111}. Cet ensemble est simplement ordonné par la relation d’ordre produit direct :

0000 ≤ 0100 ≤ 0110 ≤ 1110 ≤ 1111.

2. Fonction de mesurage

Interpréter les descriptions comme mesures ordinales d’une grandeur revient à supposer qu’il existe une fonction de mesurage F: Ω₅ → X(Ω₅), c’est-à-dire qu’il existe quatre fonctions par palier croissantes F_i: Ω₅ → {0, 1}, i = 1, 2, 3, 4, dont on connaît l’ordre des seuils A_i dans [0, max].

Pour déterminer cet ordre, il suffit de définir la bijection (relation univoque) de X(Ω₅) dans l’ensemble ordonné (0, 1, 2, 3, 4) telle que

0000 → 0
0100 → 1
0110 → 2
1110 → 3
1111 → 4.

Si la quantité à mesurer est inférieure à tous les seuils, sa mesure ordinale vaut 0. Quel est le seuil à franchir pour que la mesure vaille 1 ? La description 0100 indique que ce seuil est A₂. En effet, la fonction F₂ détermine ce qu’on observe avec le second item du test et doit prendre la valeur 1 pour qu’on puisse déduire que son seuil a été franchi. Le prochain seuil à franchir pour que la mesure vaille 2 est A₃ (0110). Le prochain seuil à franchir pour que la mesure vaille 3 est A₁ (1110) et le dernier seuil est donc A₄. Ainsi, on peut supposer qu’il existe quatre fonctions par palier croissante à seuils A_i dans [0, max] telles que A₂ ≤ A₃ ≤ A₁ ≤ A₄.

Remarque sur la notion de difficulté d’un item. On dit que le deuxième item du test est plus facile que le troisième qui est plus facile que le premier qui à son tour est plus facile que le dernier. Ainsi, le niveau de difficulté d’un item est le rang du seuil de sa fonction de mesurage. On pourra confronter cette définition à d’autres définitions galtoniennes, qui, parce qu’elles n’ont pas de caractère général, ne sont pas équivalentes, ce qui peut créer un problème d’ambiguïté voire une confusion conceptuelle dans les discussions psychotechniques (voir 19a).

3. Que faire face à des observations falsifiantes ?

Le raisonnement qui précède s’appuie sur la propriété d’ordre simple de X(Ω₅). Une conséquence de cette propriété est que la taille (on dit aussi le cardinal) de X(Ω₅), qui est 5, est strictement inférieure à celle de D, qui est 16 — à cause de l’impossibilité que deux éléments distincts d’un ensemble simplement ordonné soient incomparables. Soit une nouvelle unité d’observation ω₆. On peut supposer que sa description résulte du mesurage de sa quantité de compétence par F et cette supposition est testable. Si X(ω₆) n’appartient par à X(Ω₅) qui inventorie toutes les descriptions ordonnées possibles, alors ce n’est pas une mesure de la quantité Q(ω₆) par F.

L’hypothèse qu’une description psychotechnique soit une mesure paraît théoriquement invraisemblable dès qu’on admet que la réponse à des items de questionnaire dépende d’une myriade de facteurs inconnus (voir Mesurer avec des réponses à des tests : définition). Par quel miracle une personne quelconque, testée avec les quatre items du test, devrait répondre conformément à la fonction F dont on suppose l’existence sur Ω₅ ?

L’attitude logique face à une observation falsifiante, i.e., qui n’appartient pas à X(Ω₅), consiste à conclure qu’on ne sait pas interpréter cette observation comme une mesure ordinale d’une quantité théorique de compétence. Ce n’est pas l’attitude qui prévaut dans la doctrine de la validation scientifique des tests. L’orthodoxie consiste à adopter une stratégie dérogatoire (comme c’est aussi le cas avec les problèmes de désaccords inter-juges).

Dickes et al. (1994) expriment cette attitude de la manière suivante :

“Mais il aurait suffit de considérer un sixième élève qui aurait répondu, par exemple, [0010], pour que les données ne soient plus représentables par ce modèle, à moins de ne pas opter pour des règles aussi strictes. Jusqu’à un certain degré de dérogation, on peut encore considérer que les données s’accordent avec le modèle. Mais cela suppose qu’on se donne quelque règle supplémentaire, par exemple, qu’il n’y ait pas plus de 5 % de dérogations, pour accepter la représentation obtenue” (p. 141) — Laveault et Grégoire (2002, p. 184) mentionnent qu’en 1950, Guttman a proposé le seuil d’acceptabilité de 10 %.

Cette attitude n’est pas scientifique au sens normatif du terme, bien qu’elle soit adoptée par des personnes qui puissent se qualifier de “scientifiques” au sens de “praticiens d’une démarche scientifique”. L’attitude scientifique consiste à témoigner de l’existence d’observations falsifiantes. Proposer de considérer que ces observations soient négligeables est autre chose, cela relève d’une pratique sociale au sens de la psychologie sociale des organisations ou des institutions. Il se peut que pour des raisons non scientifiques, on ait besoin de faire comme si on savait mesurer la compétence des élèves avec ce test. Si on veut faire croire qu’on sait mesurer la compétence de ce sixième élève, on utilisera son score, 0 + 0 + 1 + 0 = 1, pour “considérer” qu’il mesure sa compétence (de manière ordinale).

Mais ce n’est pas fini. On oubliera que le score n’est qu’une mesure ordinale. Que le score soit une mesure ordinale implique qu’on ne sait pas, même si le modèle n’est pas falsifié, si deux élèves qui ont le même score ont des compétences différentes ou égales. On considèrera que leur compétences sont approximativement égales. On peut comprendre la raison d’une telle distorsion des connaissances scientifiques disponibles si on admet que l’impératif social de comparaison des élèves, c’est-à-dire d’évaluation, prime sur l’impératif d’intégrité scientifique, c’est-à-dire que les scientifiques de la réponse à des items de tests sont professionnellement conduits à affirmer l’ignorance de la signification objective, au sens réaliste du terme, des réponses aux items du test (cf. 1a et 22a), parce qu’on ne dispose pas d’une théorie testable de ces réponses qui ne soit pas falsifiée.

Les scores sont des jugements de valeur fondés sur des descriptions psychotechniques objectives (au sens qu’elles ne posent pas de problème d’accord inter-juges), et on essaie de légitimer ces jugements de valeur en expliquant qu’ils sont compatibles avec des hypothèses scientifiques fausses, mais qu’on “considère” comme acceptables par dérogation.

Références

Dickes, P., Tournois, J., Flieller, A., & Kop, J.-L. (1994). La psychométrie. Paris: Presses Universitaires de France.

Laveault, D. & Grégoire, D. (2002). Introduction aux théories des tests en psychologie et en sciences de l’éducation (2e éd.). Paris : De Boeck Université.

---

---