Archives par étiquette : évaluation

Test de H0 : combien mesure le risque d’erreur de type 1 (en statistique) ?

D’abord, le risque d’erreur de type 1 (se tromper en rejetant H0) n’est pas mesuré par “p < .05” parce que “p < .05” ne désigne pas une probabilité mais un intervalle, sous-ensemble de l’ensemble de définition d’une variable-test, dont la probabilité vaut (mesure) 0,05.

Ensuite H0 est vraie par construction — sinon on ne pourrait pas déterminer la ou les valeurs-seuils telles que p < .05. Donc on se trompe nécessairement en rejetant H0.1

D’une manière générale et par construction des règles de la logique, la probabilité qu’une phrase soit fausse quand on la déclare vraie ou vraie quand on la déclare fausse mesure 0 si on se trompe et 1 si on ne se trompe pas.2 Ce qui importe, c’est que, dans le cas de figure, comme H0 est vraie, la probabilité de se tromper en rejetant H0 mesure 1.

Corollaire. La probabilité de se tromper en croyant qu’on sait mesurer empiriquement le risque d’erreur de type 1 vaut 1.

Note. On pourrait objecter que quand on dit que H0 peut être fausse, on ne parle pas de l’objet mathématique H0, mais de ce qui se passe dans le monde auquel on cherche à accéder empiriquement. Dans ce cas, on a oublié, je suppose, de répondre à la question : comment H0 pourrait être une théorie du monde auquel on s’intéresse ? Pour autant que je sache, les statisticiens sont les premiers à admettre que quand on prend leurs modèles probabilistes pour des théories qui décrivent ce qui se passe, ces théories sont fausses (e.g,. Embretson & Reise, 2000). Dans ce cas, le risque de se tromper en rejetant H0 mesure 0.

  1. Du reste, H0 n’a pas de falsificateur dans l’ensemble des valeurs possibles de la variable-test — elle est, du point de vue de ce référentiel, tautologique. []
  2. Et qui sait si on se trompe ? Si celui qui sait existe, je ne le connais pas merci de prendre contact avec moi il sera bien accueilli. []

48a. Concordance de la notation des copies : une étude empirique

Dans quelle mesure les notes dépendent-elles des notateurs ?

Huit enseignants ont, indépendamment les uns des autres, noté un échantillon de 10 copies  prélevé dans les copies de 15 groupes d’étudiants en psychologie ayant composé pendant une séance de travaux dirigés.

Le sujet d’examen comportait 14 questions à format de réponse ouvert. Le barème de notation des réponses aux questions était dichotomique (0, 1 point) ou trichotomique (0 ; 0,5 ; 1 point). Deux types de questions étaient distingués selon le caractère bref vs. développé de la réponse attendue.

La réponse à la question peut être connue dans le référentiel, ou encore à l’échelle des scores ou à l’échelle de chaque item du questionnaire d’examen.

A l’échelle des notes composites (somme des points). Dans le cas du barème dichotomique, l’écart entre la note maximale et la note minimale d’une copie quelconque est de 1 ou 2 points sur 14 points. Lorsque le barème trichotomique est employé pour les questions à réponse développée, l’écart varie de 1 à 2,5 points sur 14. Par extrapolation linéaire, la note sur 20 d’une copie quelconque varie, selon les notateurs, dans un intervalle de 2,86 points (barème dichotomique) ou de 3,57 points (barèmes di- ou trichotmiques).

A l’échelle des notes élémentaires (points par question). La concordance interjuge des notes d’une réponse à une question quelconque peut être définie ou évaluée (exactement) sur une échelle de 0 à 100 % par la distance minimale qui sépare la distribution des notes des distributions concordantes possibles. Avec le barème (0, 1), la concordance des notations des réponses brèves vaut 94 % (sur 80 réponses, 75 cas ont été notés de manière concordante ; deux cas présentent un écart sensible à la concordance — distribution 5/3 ou 3/5) ; la concordance des notations des réponses à des questions à réponse développée de manière textuelle vaut 58 % (29 cas sur 50 ont été notés de manière concordante).

Conséquences pratiques. Le remplacement du format à réponse brève (e.g., vrai ou faux, valeur numérique) par des choix multiples supprime le problème de variabilité interjuge. La notation de verbatims ne peut pas être considérée comme ne posant pas de problème de variabilité interjuge. Lorsqu’une équipe pédagogique souhaite favoriser la production de textes dont la valeur est notée dans un barème numérique, elle doit décider si elle ignore ou pas la possibilité que les notes résultantes puissent varier d’un notateur à un autre dans une mesure d’environ trois points.

Deux exemples avec les distributions de notations.

47a. Évaluation scolaire et excellence

Si on y réfléchit, on découvre que l’école de la cinquième république apprend à une grande majorité de ses élèves qu’ils ne sont pas excellents. C’est de mon point de vue une catastrophe psychologique et une perfidie sociale.

1. Les élèves, en grande majorité, ne sont pas excellents

L’école et l’université définissent l’excellence par les notes supérieures ou égales à 17/20. Dans sa carrière scolaire, de la sixième à la terminale, un élève est évalué environ 220 fois, si on admet qu’il est noté une fois par semaine et qu’une année scolaire comprend 32 semaines qui font 32 × 7 = 224 occasions d’être évalué.

Seule une minuscule minorité d’élèves est concernée par la possibilité de l’excellence, i.e., par la possibilité d’obtenir des notes constamment excellentes. Résultat, l’élève moyen n’est pas excellent. Le message est indolore, répétitif, objectif.

2. L’apprentissage de la non-excellence est une catastrophe psychologique

Un élève qui arrive à l’université a appris à ne pas exiger de lui-même l’excellence. Mais il y a pire : il a appris à ne pas prendre au sérieux la possibilité de surmonter l’obstacle que lui oppose le discours savant. Les mots et les phrases qui n’ont pas de sens pour lui ne sont pas des montagnes à gravir, dont il faudrait connaître la topologie pour apprendre à en atteindre les sommets, d’où embrasser un massif du regard ; les mots sont des éléments de discours qu’il faut manier en recherchant un verdict d’acceptabilité (il faut avoir au moins 10/20) — il s’agit d’être l’agent d’un transport. Or la dissémination d’un discours partout où il puisse être entendu nécessite des agents de transport et disséminer un discours n’est pas élaborer un discours — pouvoir d’élaboration qui devrait être un signe d’humanité.

La mise en question de la vérité du discours universitaire est une possibilité qui a presque disparu du monde des possibilités de l’étudiant-ancien-élève-du-lycée-collège, parce que mettre en question le discours académique, c’est explorer ; or il n’a aucune idée de ce que peut être une telle exploration du savoir — on appelle aussi cela “penser”. Il est même possible que l’étudiant ainsi scolairement préparé ait acquis la conviction que la vérité n’existe pas ou, s’il admet qu’elle existe, que son destin n’est pas de l’atteindre et alors pourquoi vouloir la chercher.

3. L’apprentissage de la non-excellence est une perfidie sociale

L’apprentissage de la non-excellence, qui consiste à accepter la normalité d’une position subordonnée dans l’échelle de valeurs de la valeur intellectuelle, a une fonction sociale : c’est que d’une part, l’élite, qui est définie par la possession du pouvoir, est une (minuscule) minorité et, d’autre part, qu’il faut bien qu’il existe une élite. CQFD : l’élève a appris qu’il n’a pas à revendiquer l’exercice du pouvoir parce qu’il n’appartient pas à la catégorie des gens excellents.

Il peut même cultiver l’idée que le pouvoir lui échappe à proportion de sa valeur, tout comme lui échappent la vérité et l’argent. Et comme il n’explore pas ce que sont le pouvoir, la vérité ou l’argent, il peut même se démontrer à lui-même que tout cela est en ordre.

4. À quoi et à qui doit servir l’École ?

Il ne s’agit pas de rejeter l’évaluation scolaire mais de réfléchir à l’utilité qu’on lui confère. Dans une société qui rend possible qu’aucun homme ne doive ses conditions minimales d’existence à l’aliénation de son “capital humain” (voir Laval, 2016) à un capitalisme qui s’est approprié l’argent, l’École pourrait servir à permettre à qui le souhaite de découvrir ce en quoi il excelle (pour le bonheur de l’humanité tout entière).

Voir aussi Salanskis (2009).

40a. Les échelles de mesure : lire Stevens (1946)

S. S. Stevens publie en 1946 son célèbre article “On the theory of scales of measurement”, que Tafreshi, Slaney et Neufeld (2016, p. 6) qualifient de contribution majeure du 20e siècle dans le domaine de la mesure en psychologie, et qui présente la fameuse catégorisation d’échelles numériques dites “de mesure”, à savoir les échelles “nominales”, “ordinales”, “d’intervalle” et “de ratio”, catégorisation qui est enseignée dans tout cours de psychologie quantitative. Chaque type d’échelle de mesure possède des règles de légitimité concernant les calculs qu’on peut appliquer aux nombres dont elles sont formées. J’en donne ici un commentaire critique du point de vue où mesurer, c’est utiliser l’hypothèse qu’il existe une fonction croissante, définie dans le segment [0, max] où “max” désigne la quantité la plus grande possible de la grandeur qu’on veut mesurer, à valeurs dans l’ensemble des observables qui sont utilisés comme des mesures de la grandeur (cf. 3a).

1. Aperçu de l’article

L’article (quatre pages) se compose d’une introduction, d’une section portant sur l’idée de classification d’échelles de mesure, de quatre sections respectivement consacrées à chaque type d’échelle et d’une conclusion.

L’introduction. Partant des travaux d’un comité de la British Association for the Advancement of Science, qui fût dédié à l’examen de la possibilité de mesurer les sensations, et retenant de son rapport final que la signification (meaning) du verbe “mesurer” reste discutable, l’introduction propose de “reconnaître que le mesurage [measurement] existe sous des formes variées et que les échelles de mesure [scales of measurement] tombent dans des classes bien définies” (p. 677) — avec des conséquences concernant la “légitimité” de certaines analyses statistiques.

La classification des échelles de mesure. Elle est appuyée sur une définition dite “au sens large” du mesurage, qui consiste en “l’attribution de nombres à des objets ou événements selon des règles” (p. 677). Ces règles reposent sur la notion-clé d’isomorphisme “entre ce que nous pouvons faire avec les aspects des objets et les propriétés des séries numériques” (p. 677).1

L’échelle nominale. Il faut considérer une application définie dans un ensemble d’objets (ou d’événements au sens de la théorie des probabilités) et à valeurs dans un ensemble de modalités descriptives (les aspects des objets ou des événements). Une échelle nominale résulte du codage numérique de ces modalités. Le “mesurage nominal” consiste à identifier les modalités descriptives de la variable/application par un nombre. L’isomorphisme entre l’ensemble des modalités et l’ensemble des nombres consiste en une bijection, i.e., une relation bi-univoque qui attribue à toute modalité un nombre unique. Un exemple d’échelle nominale est l’ensemble {0, 1} comme ensemble d’arrivée de la relation dont le graphe est {(femelle, 0), (mâle, 1)}.

L’échelle ordinale. Il s’agit d’une échelle nominale ordonnée. L’isomorphisme entre l’ensemble des modalités et l’ensemble des nombres codant ces modalités est enrichi de la notion de conservation de l’ordre des modalités ; il suffit que les nombres servant à identifier les modalités soient ordonnés conformément à l’ordre des modalités. Un exemple d’échelle ordinale est l’ensemble (1, 2, 3, 4) comme ensemble d’arrivée de la relation dont le graphe est {(pas du tout d’accord, 1), (pas d’accord, 2), (d’accord, 3), (tout à fait d’accord, 4)} — ce qu’on appelle une échelle de Likert.

L’échelle d’intervalle. Soient x1, x2, x3 et x4 quatre valeurs distinctes d’une échelle d’intervalle. On s’intéresse au rapport des différences x2 − x1 et x4x3, c’est-à-dire à (x2 − x1)/(x4x3). Il se trouve que le rapport des différences (ax2 + b) − (ax1 + b) et (ax4 + b) − (ax3 + b), avec a > 0, est égal à (x2 − x1)/(x4x3) : les b s’annulent par différence et les a par division. Il n’est pas dit quelles sont les modalités dont on puisse ainsi considérer les différences, lesquelles supposent l’existence d’une fonction de mesurage affine reliant certains observables à une certaine grandeur (voir par exemple 36a). Lorsque Stevens utilise l’exemple du mesurage de la température par la longueur de la colonne de mercure dans un thermomètre, il ne pose pas le problème de la mesurabilité d’une quantité de température par une quantité de longueur, qui est un problème théorético-empirique. Il me semble que sa démarche est focalisée sur l’étiquetage numérique de modalités descriptives et les propriétés numériques autorisées pour ces étiquettes.

L’échelle de ratio. Soient x1, x2 deux valeurs distinctes d’une échelle de ratio. On s’intéresse au rapport x2/x1. Le rapport ax2/ax1, avec a > 0, est égal à x2/x1. Il n’est pas dit comment on peut établir, en général, que x1 et x2 puissent être mis en rapport ; c’est encore un problème théorético-empirique qui consiste à supposer que les valeurs numériques sont les images d’une fonction de mesurage linéaire (cf. 36a).

La conclusion. Stevens conclut en estimant avoir contribué, dans un esprit libéral et utilitaire, à une définition du mesurage qui réduit le problème du mesurage à un choix d’échelle de mesure guidé par les règles qu’on se donne pour représenter les objets ou événements à l’aide de nombres.

2. Commentaires

Remarque 1. Parce qu’elle rend le codage numérique nécessaire, une telle définition du mesurage est soit inutilement restrictive soit contradictoire. Restrictive, si on exclut que le mesurage puisse admettre une description non-numérique (c’est-à-dire expressément qualitative) des “objets ou événements”. Soient les objets identifiés par a, b, c ; {a, b, c} n’est pas une échelle nominale pour identifier ces objets parce que ni a ni b ni c ne sont des nombres. De même l’ordre alphabétique, l’ordre “échec < réussite”, ne peuvent mesurer ordinalement des objets. Contradictoire dès qu’on rejette cette restriction parce que la définition énonce qu’il s’agit d’attribuer des nombres à des “objets ou événements” — peu importe que ces nombres soient des numéros, des ordinaux ou des nombres réels par exemple. Cette contradiction sur la forme signale une confusion sur le fond : avec la définition de Stevens, le complément d’objet direct du verbe mesurer n’est plus une quantité de grandeur mais la catégorie vague d’aspect d’un objet ou d’un événement2. Par exemple, d’après Stevens, il faudrait dire qu’on mesure la réponse à un item de questionnaire, ce qui n’a rien à voir avec l’hypothèse que la réponse à cet item mesure une quantité psychologique (comme par exemple une quantité de capacité intellectuelle). Il est inutile et ambigu d’utiliser des nombres pour faire des descriptions (et non pas des mesures) nominales ou ordinales : si on utilisait des notations claires (cf. 42a), on serait de fait dans l’impossibilité de calculer des scores psychotechniques, une bonne chose pour la lucidité scientifique des utilisateurs de scores (sur le scorage, voir 11a).

Remarque 2. Du point de vue épistémologique, cette définition pose la question de savoir si la mesurabilité d’une grandeur via une technique descriptive donnée est un problème de convention (les règles d’attribution de nombres seraient une affaire de consensus, comme la notation scolaire) ou bien un problème empirique (existe-t-il des faits d’observation qui frapperaient d’incohérence l’affirmation qu’on sache mesurer telle grandeur à l’aide de telle ou telle technique de description des “objets ou événements” ?). Négliger cette différence revient à confondre l’évaluation et le mesurage et à oublier que tout n’est pas mesurable.

Remarque 3. Dans la mesure où les critères de jugement pour conférer aux nombres utilisés le statut de mesures d’intervalle ou de ratio ne sont pas envisagés (seules les conséquences de ces choix en termes de transformation fonctionnelle sont envisagés), ce qui constitue à proprement parler le problème du mesurage quantitatif (par opposition au mesurage ordinal d’une quantité), on est libre de penser que Stevens ne s’opposait pas à ce qu’on convienne de ce que des nombres soient des mesures d’intervalle. La conséquence d’un tel conventionnalisme est qu’il détruit la différence épistémologique entre une mesure (possible seulement si on admet l’existence d’une grandeur à mesurer d’une part, et d’une fonction de mesurage qui formalise un principe causal de mesurage d’autre part) et une évaluation (possible dès qu’on se donne une règle de scorage pour fabriquer des descriptions numériques).

Remarque 4. Stevens corrobore ce conventionnalisme scientifiquement parce qu’expérimentalement ou empiriquement abusif, lorsqu’il écrit “L’intelligence, par exemple, est utilement évaluée (“assessed” et non pas “measured”) sur des échelles ordinales qui tentent d’approcher des échelles d’intervalle et il n’est pas nécessaire de définir ce que zéro intelligence signifierait” (p. 679). S’il avait appliqué sa propre approche aux scores d’intelligence, Stevens aurait dû reconnaître qu’une échelle de scores d’intelligence n’est pas une échelle nominale des aspects des objets/réponses sur lesquels elle se fonde, puisque ces aspects sont décrits dans un ensemble de m-uplets (cf. 20a), que les scores ne permettent pas d’identifier de manière isomporphe (un même score “mesure”, au sens de Stevens ou, plus proprement, décrit, différentes façons de répondre à un test d’intelligence). Donc une échelle de scores d’intelligence n’est pas une échelle ordinale parce qu’une échelle ordinale est (condition nécessaire) aussi une échelle nominale.

Les enjeux utilitaires (anthropocentrés) effacent le problème théorético-empirique de mesurage (parce que si l’intelligence était mesurable, ce serait une grandeur mesurable donc une grandeur et alors, la question de la plus petite quantité d’intelligence possible serait une question théoriquement non-négligeable) au profit d’un feu vert pour une convention à usage évaluatif qui permet, grâce à cet “élargissement” du sens du verbe “mesurer”, d’emprunter le discours de la mesure, et donc de profiter de sa crédibilité scientifique, quitte à obscurcir ou tout au moins brouiller la notion de mesurage (measurement).

Références

Stevens, S. S. (1946). On the theory of scales of measurement. Science, 103, 677-680.
Tafreshi, D., Slaney, K. L., & Neufeld, S. D. (2016). Quantification in psychology: Analysis of an unreflective practice. Journal of Theoretical and Philosophical Psychology, 36, 233-249.

  1. Un isomorphisme implique l’existence d’une relation de correspondance terme à terme, puisque les deux ensembles ont la même “forme”). Conséquence : peut-on, dans cette approche, mesurer une quantité de grandeur comme par exemple une quantité de distance ? Réponse : non parce qu’une quantité de grandeur (de distance) n’a pas d’aspect relevant du “faire” expérimental, au sens positiviste et empiriste du terme “expérimental”, entre les quantités à mesurer et les nombres supposés les mesurer — la distance est une “pure idée” dont on peut croire ou pas qu’elle corresponde à quelque chose de réel. []
  2. Je remercie Corentin Gonthier qui m’a suggéré ces précisions. []

Yves Gingras sur la notation des projets de recherche

Pour tenter de contrôler le caractère subjectif des évaluations, des systèmes de pointage ont été graduellement mis en place qui autorisent des calculs fondés sur la notation individuelle des membres des jurys, et donc des classements collectifs. Malgré les apparences, cette arithmétique ne change rien au fait que la décision de cocher “2,5” plutôt que “4,0” dans le logiciel demeure une “boîte noire” non analysée. La “quantification” des jugements portés, qui fait mettre 3 au lieu de “super !” et “1,5” au lieu de “nul !”, n’affecte en rien le caractère fondamentalement subjectif du jugement, elle se borne à le dissimuler derrière l’apparente objectivité du chiffre. On parvient cependant, grâce à cette procédure, à regrouper par des opérations arithmétiques les divers résultats des membres d’un comité : calculer la “moyenne” des jugements permet ainsi d’identifier la “variance” et de cibler la délibération sur les évaluations qui s’écartent beaucoup de cette moyenne. (pp. 58-59)

Gingras, Y. (2014). Les dérives de l’évaluation de la recherche : du bon usage de la bibliométrie. Paris : Éditions Raisons d’agir.

27a. Pour un nouveau paradigme de publication scientifique

La réflexion qui suit a été suscitée par la lecture de Ioannidis (2014). L’appréciation de la valeur des contributions scientifiques suppose qu’il existe des contributions scientifiques (cf. 18a). En bonne méthode, distinguons les deux questions : (i) y a-t-il une contribution ? (ii) Si non, il faut s’expliquer : ce qui est affirmé est déjà su, ou bien, si ce n’est pas déjà su, ça n’est pas vrai pour telles et telles raisons. Si oui, quelle est la valeur de cette contribution ? Le chercheur ne devrait pas avoir à se préoccuper (trop, encore moins exclusivement) de la valeur de ses contributions, mais seulement de produire les contributions qui sont à sa portée dans son contexte de recherche (intellectuel, financier, environnemental, etc.).

Le modèle actuel de publication scientifique dans des revues cotées permet la valorisation et donc la légitimation sociale des travaux de recherche par “héritage” : un article hérite de la valeur de la revue qui le publie (un papier publié dans Psychological Review est un très bon papier parce que la revue est une très bonne revue). Cette valorisation-légitimation s’effectue au détriment de la création et de la mise en commun des contributions scientifiques des chercheurs (par exemple, une analyse méthodologique qui attaque un paradigme dominant (le scorage psychotechnique) n’est pas acceptée pour publication, voir Vautier 2014).

Il est techniquement facile de changer de paradigme de légitimation des travaux de recherche. Une publication scientifique est un texte qui prétend apporter une contribution scientifique dans le contexte d’un certain état des connaissances. Tout article auto-publié (blog, archive ouverte) assorti d’au moins deux commentaires critiques signés peut être reconnu comme contribution scientifique, si les commentaires reconnaissent la contribution qui est apportée. Ainsi, si la communauté le décide, aucun chercheur n’a besoin de se plier aux lois ou caprices de la publication dans des revues dont la politique éditoriale est conditionnée par une lutte de prestige (voir Notturno, 2000). Il suffit qu’il sollicite lui-même des commentaires auprès de ses collègues et auto-publie les textes commentés qu’il peut et souhaite partager.

Pour que la pratique soit viable, la communauté doit encourager ses membres à consacrer du temps à critiquer des articles (ce qu’ils font déjà mais à l’initiative des “editors” et de manière anonyme ; voir Bon, 2015, 24 janvier ; Langlais & Stanboliyska, 2014, 10 novembre). Un relevé public de qui évalue quoi et dans quel délai devrait pouvoir être géré par les sections du CNU ou tout comité académique idoine.

Tout chercheur peut présenter son bilan scientifique aux instances institutionnelles en listant ses contributions scientifiques (théoriques, empiriques, méthodologiques, etc., y compris critiques lorsqu’il travaille comme “reviewer”).

 

22a. La probabilité de réussir l’item

Les modèles psychométriques de réponse à l’item reposent sur la notion de probabilité de réussir un item. Cet article explore cette notion dans une perspective épistémologique plutôt que psychométrique (c’est-à-dire statistique). Adopter une perspective épistémologique consiste ici à se demander (i) comment on fait pour savoir quelque chose à partir de la notion de probabilité et (ii) si ce savoir est falsifiable. La conclusion de l’article est qu’un modèle de réponse à l’item (MRI) ne fournit pas un savoir falsifiable sur les différences quantitatives invoquées par le modèle. Si les réponses aux items étaient des mesures (ordinales), les modèles probabilistes de réponse à l’item seraient superflus. Et si on est au clair avec le fait que ces modèles ne sont pas des modèles de mesurage, leur utilité demeure ambigüe et doit être précisée (Vautier, Veldhuis, Lacot, & Matton, 2012). Je remercie par avance chaleureusement tous les commentateurs férus de psychométrie, statistique ou autres probabilités qui voudraient bien me critiquer.

1. La vérité de la proposition « la probabilité que Paul réussisse cet item à ce moment vaut 0,8 »

Comment fait-on pour savoir si cette proposition est vraie ou fausse ? Prenons n’importe quelle valeur p dans ]0, 1[, la phrase « la probabilité que Paul réussisse cet item à ce moment vaut p » est infalsifiable parce qu’elle implique “Paul va échouer ou réussir”, ce qui est une tautologie. Donc la réponse à la question est : je ne sais pas (cf. Vautier, 2012).

Si on donne les valeurs 0 ou 1 à p, alors au moins une des deux phrases est fausse. Si Paul réussit alors que p = 0 la phrase est fausse ; idem si Paul échoue alors que p = 1.

Pas si simple ? Essayons encore et considérons la phrase « la probabilité que Paul réussisse cet item à ce moment vaut 10-20 ». Minuscule probabilité, qui indique que la possibilité de réussite est infime et qu’on peut, comme dirait un ami dont l’érudition psychométrique est immense, raisonnablement croire que Paul va échouer. En d’autres termes, on serait très surpris que Paul réussisse. Et donc on ne parierait pas sur la réussite de Paul si on fait confiance à celui qui indique une telle probabilité. Dans cette histoire, il s’agit de la confiance qu’on a dans celui qui énonce la probabilité.

Remontons à la prémisse. Comment fait-on pour savoir la valeur de la probabilité ? Par déduction mais alors à partir de quelles prémisses ? Au secours Valéry ! Par la connaissance empirique pertinente ? On ne peut que connaître des fréquences, ce qu’il faut développer.

2. Pile ou face et la loi binomiale : ça « marchotte »

« La probabilité que la pièce de monnaie qui se trouve devant moi tombe sur pile quand je vais la lancer vaut 0,1 ». On ne dispose d’aucune connaissance empirique puisque le lancer n’a pas eu lieu, ni de connaissance physique sur le centre de gravité de la pièce. Autrement dit, on dit qu’on ne sait pas et le surplus de sens est une information non pas sur la pièce de monnaie mais sur l’intention de celui qui parle (du registre « je ne parierais pas sur pile, faites comme moi »).

On peut adopter un point de vue empiriste, en faisant appel à une classe de référence, ou encore, c’est la même chose, une population statistique, c’est-à-dire un ensemble de lancers différents de la même pièce de monnaie, dont on postule qu’ils sont régis par la même probabilité. Supposons que la pièce ait été lancée n = 40 fois et qu’on connaisse k = le nombre de fois où elle est tombée sur pile. On peut utiliser les données pour estimer ou pour tester la valeur de la probabilité.

Commençons par le test statistique. Si le nombre k de piles est grand, on sera enclin à douter de la valeur de cette probabilité, puisque pile est par hypothèse très peu probable (p = 0,1). Mais il faut bien voir que ce sentiment de doute ou d’étonnement est logiquement invalide. La probabilité p = 0,1 n’exclut aucun résultat : on peut observer 0 pile, 1 pile, 2 piles, etc. jusqu’à 40 piles dans la série des 40 lancers. La loi binomiale B(40 ; 0,1) indique que la probabilité d’observer 40 fois pile par exemple vaut 10-40, ce qui est très petit mais pas nul.

Voici donc la pragmatique du test de l’hypothèse nulle en statistique : on se donne un risque d’erreur de type 1 (i.e., rejeter l’hypothèse alors qu’elle est vraie) de 0,05 par exemple, ce qui correspond à au moins 7 piles. Si la série exhibe au moins 7 piles, on rejettera l’hypothèse p = 0,1. Attention encore : dans cette approche, le rejet n’est pas une falsification parce que l’hypothèse p = 0,1 est infalsifiable : ses conséquences sur une série de 40 lancers n’excluent aucun événement logiquement possible.

Récapitulons. On ne peut pas tester statistiquement la phrase « la probabilité que la pièce de monnaie que je regarde tombe sur pile quand je vais la lancer vaut 0,1 » parce que la classe de référence de cette probabilité contient zéro élément avant le lancer, un seul élément une fois qu’on a le résultat du lancer. On peut utiliser le chiffre 0,1 comme un indice (et pas une mesure) de la confiance qu’on peut avoir dans la divination “la pièce va tomber sur face”, mais, comme pour les promesses en politique, croire en la divination n’engage que ceux qui croient. Les statisticiens savent que les probabilités n’ont de sens que lorsqu’on se réfère à une classe de référence définie par un très grand nombre d’expériences aléatoires, par opposition à une expérience unique (déjà advenue ou qui va advenir).

Si on se donne une classe de référence dont le cardinal (la taille) est n, on peut tester statistiquement la probabilité à partir du comptage des événements pertinents dans la série de n essais, en se donnant une politique de rejet de l’hypothèse qui est logiquement invalide puisque tout nombre de “succès”, de 0 à n, est compatible avec l’hypothèse. Ainsi, si les divinations “face” réussissent trop peu souvent, on a un moyen conventionnel de rejeter l’expertise de celui qui fournit la probabilité — ce qui a peu d’incidence pratique parce que dans la vie concrète où on appréhende les réponses à l’item de quelqu’un, l’expert en probabilités n’est pas là — il est expert d’un grand nombre d’expériences aléatoires qui définissent une classe de référence de très grande taille — ; en tant que statisticiens spécialisés en psychologie, les psychométriciens sont assez malins pour ne pas se risquer dans des situations d’utilisation individuelles (voir la remarque de G. Rasch) : ils laissent les utilisateurs de modèles de scorage… utiliser les scores.

Il reste l’autre approche, où on veut estimer la probabilité p à partir de la loi binomiale B(40, p) et de k. On se réfère à la probabilité Cnkpk(1 – p)nk de k “succès” dans une série de n essais (voir sur Internet tout article sur la loi binomiale pour les détails de la formule) et on cherche la valeur p qui maximise cette probabilité. Mais il y a un problème : si on se donne les moyens d’observer un nouveau k, disons un k’, on peut trouver une autre valeur et donc une autre estimation de p par maximisation de Cnk’pk’(1 – p)nk’. On est alors conduit à encadrer p par l’accumulation d’observations, au lieu de déterminer sa valeur exacte à partir d’un seul k. La question est de savoir si cet encadrement peut être plus précis que ]0, 1[.

Raisonnons par l’absurde. Si on pouvait réduire l’approximation, on exclurait certains intervalles de valeurs bornés à gauche par 0 ou bornés à droite par 1 ; or la valeur de la probabilité p qui maximise Cnkpk(1 – p)nk pour k = 0 est p = 0 et la valeur de la probabilité p qui maximise Cnkpk(1 – p)nk pour k = n est p = 1. Comme toute probabilité dans ]0, 1[ est compatible avec k = 0 et k = n, on ne peut exclure que l’estimation donne les probabilités 0 ou 1. Comme la possibilité d’un contre-exemple exclut ces valeurs extrêmes, il reste que la probabilité qu’on maximise varie dans ]0, 1[. Par conséquent, on ne sait pas estimer la probabilité p avec une précision plus fine que ]0, 1[ pour des raisons purement logiques (voir aussi la section 3 de l’article 16a). Quelqu’un pourrait-il offrir une objection à cet argument ?

Quoiqu’il en soit, l’estimation d’une probabilité par maximisation de la vraisemblance nécessite qu’on dispose d’une classe de référence de grande taille et on bute sur une seconde objection sérieuse.

3. Réussir ou échouer l’item et la loi binomiale : ça ne marche pas

Revenons à la réalité de la psychologie scientifique : quelle est la classe de référence dont on dispose quand on parle de la probabilité que Paul réussisse cet item à ce moment ? C’est l’ensemble vide tant que Paul n’a pas traité l’item, un singleton quand il l’a traité. Si on imagine qu’on demande à Paul de traiter l’item 40 fois pour utiliser la fréquence des réussites comme mesure totalement imprécise de sa probabilité de réussir cet item à n’importe quel moment, on se rend compte d’une impossibilité théorique rédhibitoire : comment soutenir que la probabilité que Paul réussite l’item au premier essai soit la même que la probabilité qu’il réussisse le même item au nième essai ? Paul apprend — i.e., il change avec l’expérience. Cet argument me semble suffisant pour conclure qu’en psychologie de la réponse à l’item, on ne peut pas utiliser la notion de classe de référence (ou, ce qui est équivalent, de schéma de Bernouilli d’ordre n) comme fondement empirique de théorisation probabiliste de la réponse de quiconque à un item quelconque.

4. La tentative psychométrique

La discussion qui précède intéresse peu les psychométriciens parce qu’ils s’intéressent essentiellement à résoudre le problème de l’assignation d’un nombre à un m-uplet de réponses (cf. l’article 10a). La notion de probabilité n’a pas de rôle théorique, mais un rôle instrumental ou encore calculatoire. Mais ce rôle a une fonction méta-théorique : on score, donc on garantit l’évaluabilité (cf. les articles 10a, 13a, et aussi 19a).

L’idée essentielle d’un modèle de réponse à l’item, consiste à remplacer la fonction de mesurage, qui modélise la réponse à l’item avec les probabilités 0 ou 1, par une fonction psychométrique, qui modélise la probabilité de la réponse à l’item, celle-ci devant nécessairement se trouver dans ]0, 1[. Pour donner une idée précise de ce qui est en jeu, je vais me référer au modèle de Rasch et m’appuyer sur la Rasch Estimation Demonstration Spreadsheet de Mark H. Moulton. Le propos n’étant pas technique mais épistémologique, je n’entraînerai pas le lecteur dans les méandres des calculs mais plutôt dans l’analyse de la signification scientifique des résultats. Il s’agit de comprendre que la probabilisation permet de trouver des valeurs numériques par tâtonnements successifs de telle manière que ces valeurs fournissent nécessairement, on dit aussi convergent vers, la meilleure solution possible. La question est : comment définir le meilleur ? La meilleure solution est celle qui minimise une quantité qu’on appelle résiduelle. La beauté de l’art de l’estimation statistique tient à l’existence de propriétés mathématiques comme l’unicité de la solution qui minimise le résidu. Cette unicité constitue un critère d’acceptabilité sociale du meilleur scorage puisque scorer on veut.

Le point de départ de la démarche d’estimation est une liste de m-uplets dont Moulton donne un exemple. On constate que les 10-uplets ne sont pas simplement ordonnés, ce qui, répétons-le, signifie qu’il n’existe pas de fonction de mesurage (cf. l’article 11a et aussi l’article 13a). Mais on veut quand même donner une valeur numérique aux seuils des items et aux personnes qui ont fourni les 10-uplets, en admettant des irrégularités ordinales aléatoires. Le facteur aléatoire est modélisé par la formule

Pr(Xsi = 1) = exp(βsδi)/[1 + exp(βsδi)],

Xsi est une variable aléatoire binaire dont la classe de référence est la population virtuelle des essais du sujet s à l’item i, βs est la valeur qu’on veut attribuer à s et δi est le seuil de i (dans l’ensemble des réels et non pas dans [0, max]). Cette formule est équivalente au logit

ln[Pr(Xsi = 1)/(1 – Pr(Xsi = 1)] = βsδi,

qui définit l’écart entre la valeur de s et le seuil de l’item.

Ce cadre théorique est le même que le cadre théorique du mesurage, à la nuance près que le domaine de la quantité à estimer/mesurer est étendu à l’ensemble des nombres réels. Mais, contrairement à la démarche scientifique qui prend le risque d’affirmer la non-mesurabilité de la grandeur par les m-uplets si la théorie est fausse, la démarche psychométrique affirme la mesurabilité en dotant le cadre théorique d’un cadre probabiliste dont la valeur ajoutée est calculatoire, tout en reconnaissant que ce cadre est faux (voir par exemple la remarque d’Embretson et Reise — ce n’est pas rédhibitoire, il suffit que les probabilités soient utiles).

Suivons Moulton. Les 10-uplets permettent le calcul de la proportion de réussite des neuf sujets ainsi que la proportion de réponses incorrectes des 10 items, qui sont exprimées en logits (les logits des items étant ensuite centrés). La clé de la méthode d’estimation présentée par Moulton tient à la définition de la quantité résiduelle de chaque cellule de la table de contingence (9 × 10). Les logits des sujets et les logits centrés des items sont utilisés comme estimations des valeurs βs et δi ce qui permet d’estimer les probabilités de réussite de chaque item par chaque sujet (probabilité qui est équivalente à l’espérance de chaque Xsi). Le résidu est la différence entre la valeur observée (1 pour réussite) et la valeur espérée qu’on vient de calculer.

Remarque. L’espérance de chaque Xsi n’est définie que si les valeurs de la variable sont traitées comme des valeurs numériques. Mais 0 et 1 ne sont que des codes pratiques pour “échec” et “réussite”. La variable Xsi n’est pas une variable aléatoire numérique, c’est au mieux une variable aléatoire qualitative si on accepte l’existence de la loi de probabilité dont on la dote. Elle n’a donc pas d’espérance mathématique.

Il ne reste plus qu’à corriger les logits des sujet et les logits centrés des items de manière à ce que les résidus soient minimisés, et ainsi de suite jusqu’à ce que les corrections deviennent négligeables. Assurément, voici du grand art et on ne peut qu’admirer les algorithmiciens de l’optimisation statistique. Finalement, on dispose de 10 valeurs qui ordonnent les sujets sur une échelle numérique parsemée de neufs “barreaux” dont on connaît aussi les seuils.

Mais la beauté du tableau ne doit pas nous faire oublier ce fait initial : la probabilité qu’un sujet quelconque parmi les 10 sujets réussisse un item quelconque parmi les items qu’on connaît est une valeur dans ]0, 1[. Même si, pour des raisons disons pragmatiques, on accepte la non-falsifiabilité des propositions qu’on peut en tirer, cette probabilité n’est pas testable statistiquement parce que sa classe de référence est un singleton si on connaît la réponse à l’item, un ensemble vide si on l’ignore.

L’estimation psychométrique donne la meilleure valeur possible aux 10-uplets observés, c’est-à-dire les hiérarchise au mieux, avec l’innovation socio-technique qui consiste en ce que seuls les experts de l’algorithme d’optimisation savent définir exactement de quoi on parle quand on parle du meilleur. Le modèle de Rasch, et d’une manière générale les modèles psychométriques de réponse à l’item, sont de savantes méthodes d’agrégation numérique ou encore de hiérarchisation de données partiellement ordonnées, pas des méthodes de mesurage. Leur développement est possible précisément parce que les grandeurs qu’on invoque ne sont pas mesurables.

17a. Combien font deux oranges plus trois citrons ? Le méli-mélo conceptuel de Laveault et Grégoire

Dans leur “Introduction aux théories des tests en psychologie et en sciences de l’éducation” (2002), Dany Laveault et Jacques Grégoire abordent la notion de score composite, “résultat de l’addition des scores aux items du test” (p. 98), en posant la question “combien font deux oranges plus trois citrons ?”. On pourrait voir dans le choix d’un tel titre de paragraphe l’intention de critiquer l’usage des scores composites : “et” n’est pas “plus” et les scores composites ont une signification obscure. Mais quand on lit la suite, on se rend compte que la portée critique de la question semble leur échapper : les auteurs exposent trois façons d’y répondre :

“1. nous pouvons refuser de faire l’addition, considérant qu’il s’agit de deux catégories différentes ;

2. nous pouvons ramener chaque ensemble à un ensemble qui les contient tous les deux (p.e. la catégorie des fruits) et effectuer l’opération à l’intérieur de cet ensemble plus large. Dans notre exemple, la réponse est alors ‘cinq agrumes’ ou ‘cinq fruits’ ;

3. nous pouvons aussi ignorer les caractéristiques communes à chaque ensemble et répondre comme plusieurs jeunes enfants de six ans : ‘deux pommes plus trois oranges font cinq compotes'” (p. 98).

Les auteurs poursuivent en établissant un parallèle entre ces trois attitudes et trois manières de justifier le score composite. La première attitude consiste à justifier un “profil de scores”, c’est-à-dire un profil de sous-scores composites, chaque sous-score correspondant à un sous-test du test. La seconde attitude, justifiant le score composite, consiste à négliger les spécificités des items pour s’en tenir au “postulat qu’il ont tous au moins quelque chose en commun” (p. 98). La troisième solution consiste à restreindre la signification du score composite à un comptage : “A la question de départ, les réponses ‘cinq végétaux’ ou ‘cinq choses’ n’ont de précis que le chiffre” (p. 98).  Ce billet identifie quatre erreurs dans leur propos.

1. L’analogie entre addition des scores élémentaires et addition d’objets hétéroclites

Dans l’analogie, les scores aux items (les scores élémentaires) du test jouent le rôle d’objets hétéroclites (deux oranges, o1, o2 et trois citrons c1, c2 et c3). Mais l’analogie s’arrête quand on s’aperçoit de ce que, si les oranges et les citrons de l’ensemble {o1, o2, c1, c2, c3} peuvent constituer des unités de compte fondées sur l’abstraction (combien de fruits et, de manière plus générale, d’objets, compte-t-on ?), les scores élémentaires ne sont pas nécessairement des unités de compte. On peut compter le nombre de réussites lorsque les réponses aux items sont scorées 1 pour réussite et 0 pour échec ; par exemple, on compte trois réussites dans le 6-uplet (0, 0, 1, 0, 1, 1). Lorsque les formats de réponse sont des échelles de Likert, les scores élémentaires n’ont pas de signification comptable (pour une approche détaillée de la réponse à un test, voir 42a) ; par exemple, que compter dans le 5-uplet (2, 5, 2, 1, 7), où les nombres indiquent un degré d’accord sur une échelle de Likert en sept points ?

Justifier l’additivité des scores élémentaires en utilisant l’analogie d’une collection d’objets suppose de restreindre le propos aux tests formés par des items dont la réponse est décrite dans le référentiel {échec, réussite}. Ne pas expliciter cette restriction, c’est commettre une erreur de généralisation : on peut additionner les réussites donc (invalidité logique) tous les score élémentaires sont additifs (au sens du comptage de certains types d’événements).

2. Des sous-scores pour des sous-catégories

On peut très bien distinguer des catégories d’items comme on distingue la catégorie des oranges de celle des citrons ; par exemple, dans un test de personnalité, on pourra distinguer les items d’anxiété des items de dépression. On pourra dénombrer les items de chaque catégorie mais cela n’implique pas que les scores élémentaires aux items d’une même catégorie soient additifs. Or qui dit “profil de scores” dit “additivité” des scores aux items d’une certaine catégorie.

Laveault et Grégoire n’explicitent pas le problème de l’additivité des scores élémentaires parce qu’ils n’explicitent pas le problème du mesurage : en quoi un score élémentaire est-il une mesure ? Si un score élémentaire est une mesure, c’est une mesure ordinale, c’est-à-dire que ce score est le résultat d’un processus de mesurage qui, à toute quantité d’une certaine grandeur, permet l’attribution d’un certain score élémentaire. Ce processus est formalisé par une fonction croissante par palier (cf. 5a et cours de mesurage, vidéo 3). Si on suppose que les scores élémentaires de (2, 5, 2, 1, 7) mesurent la même quantité q via cinq fonctions de mesurage (une par item), chaque score désigne un segment de quantités qui contient q et l’addition des scores consiste, par hypothèse, à additionner des segments, ce qui n’a pas de sens parce que l’addition n’est pas définie sur des segments. Ainsi, une deuxième erreur dans le propos des auteurs consiste à ne pas spécifier le problème théorique que posent les scores composites lorsqu’on veut les interpréter comme des mesures (voir aussi, pour une approche formalisée, 11a).

3. Évaluer

Une troisième erreur de Laveault et Grégoire consiste dans l’omission de la finalité évaluative des scores composites. La note d’une copie a pour vocation non pas de mesurer quoique ce soit mais de donner une valeur sociale à un étudiant via sa copie : l’étudiant obtiendra (ou pas) telle unité de valeur et, finalement, tel diplôme. Le score à un test est utile s’il permet de conférer à l’individu qui a obtenu ce score une certaine valeur psychologique (par exemple, on dira que ses fonctions cognitives sont efficientes, déficientes, normales, ou que sa personnalité est normale ou pathologique, en s’appuyant sur une norme psychotechnique).

Si on réalise que, comme dans une copie, les scores élémentaires sont des unités de valeur relatives à un certain construit (et peu importe que ce construit soit “pur” ou bien “composite”), il n’y a plus de problème d’additivité puisqu’on additionne des unités de valeur dans le cadre d’une convention sociale d’évaluation. La question à laquelle on peut répondre n’est pas “combien font deux oranges plus trois citrons”, mais “que valent deux oranges et trois citrons ?” Si les oranges et les citrons forment un lot, l’addition des valeurs de chacun de ces fruits est la valeur du lot qu’ils composent — comme en économie, où le prix rend (la valeur de) toute chose comparable à (la valeur de) toute autre chose (voir aussi Jacquard, 1991, chapitre “L’économie de marché, masque de la réalité”).

4. Additionner des scores d’items suppose de postuler que “ces items mesurent sensiblement le même trait” (p. 98)

Une quatrième erreur contenue dans le propos des auteurs réside dans le rejet implicite du principe logique de non-contradiction. Quelle définition du mesurage serait compatible avec la possibilité de mesurer “sensiblement le même trait” ? Soit les items considérés mesurent le même trait (où “trait” est synonyme de “grandeur”), soit ils mesurent des traits distincts. Comment concevoir que deux traits distincts soient “sensiblement” identiques ? L’idée du “sensiblement le même” est une impossibilité logique : “être le même que” est une relation d’équivalence :  a est le même que b ou bien il ne l’est pas.

5. Conclusion

Si on reconnaît que les scores servent à situer les gens dans des échelles de valeurs, comme les prix servent à donner une valeur monétaire à toute chose qui tombe dans le domaine du marché1, alors on reconnaît que le problème de la validation des tests est un problème de philosophie sociale. Ce problème consiste à savoir comment se fabrique un “marché” des valeurs psychologiques et comment ce marché fixe les “prix” — la technique classique consistant à établir ce qu’on appelle malicieusement, dans la doctrine, un étalonnage, ce qui n’a rien à voir avec l’étalonnage instrumental, par exemple l’étalonnage d’un pH-mètre. Et on reconnaît que l’évaluation psychotechnique relève des sciences sociales comme le droit et l’économie : c’est cet aspect proprement social, par opposition à naturel, que la doctrine de la validation des tests escamote en habituant ses thuriféraires à l’idée que les tests sont des instruments de mesure.

Référence

Jacquard, A. (1991). Voici le temps du monde fini. Paris : Seuil.

Laveault, D. & Grégoire, D. (2002). Introduction aux théories des tests en psychologie et en sciences de l’éducation (2e éd.). Paris : De Boeck Université.

  1. Par exemple, le marché du droit à polluer monétarise l’environnement naturel. []