Archives mensuelles : novembre 2014

30a. Mesurage fonctionnel : tester le modèle additif

Cet article présente le modèle additif du mesurage fonctionnel (functional measurement) proposé par Norman H. Anderson (e.g., 2001). Dans la perspective falsificationniste que nous adoptons, l’intérêt majeur de ce modèle de mesurage est qu’il est testable à l’échelle d’une personne.

1. Mesurer l’appréciation subjective d’une situation multi-critère

Le schéma ci-dessous (source) permet de visualiser le processus de mesurage. La grandeur mesurée, r sur le schéma, est une appréciation subjective (par exemple, l’acceptabilité de telle punition dans telle situation). Le mesurant de la grandeur r est la réponse R (par exemple, la distance qui sépare la marque de la personne de l’origine de l’échelle visuelle analogique qu’elle utilise).

450px-Information-integration.svg

La quantité de grandeur r est définie comme la somme des quantités sA, sB, …, sZ (intégration additive). Ces quantités sont des valeurs attribuées aux aspects (critères) SA, SB, …, SZ de la situation. La fonction de mesurage reliant R à r est une fonction affine positive :

R = a + br, b > 0, ou encore r = (R – a)/b.

Contrairement au mesurage d’une grandeur psychologique par une réponse multivariée qualitative, où la grandeur n’est pas analysée (cf. 11a), le mesurage fonctionnel de l’appréciation subjective repose sur la décomposition additive de la grandeur (appréciation) et sur une réponse quantitative univariée (R comme distance sur une échelle visuelle analogique).

2. Tester le modèle à l’échelle de la personne qui produit les appréciations

Tout repose sur la supposition selon laquelle l’appréciation r intègre additivement les valeurs données à un certain nombre de critères. Considérons une situation à deux critères dichotomiques SA et SB (SA = 0 ou 1, SB = 0 ou 1). Notons les valeurs correspondantes sA=0, sA=1, sB=0 et sB=1. On a donc :

  • rA=0 et B=0 = sA=0 + sB=0,
  • rA=0 et B=1 = sA=0 + sB=1,
  • rA=1 et B=0 = sA=1 + sB=0,
  • rA=1 et B=1 = sA=1 + sB=1.

En remplaçant dans l’équation de mesurage, on obtient :

  1. rA=0 et B=0 = sA=0 + sB=0 = (RA=0 et B=0 a)/b,
  2. rA=0 et B=1 = sA=0 + sB=1 = (RA=0 et B=1 a)/b,
  3. rA=1 et B=0 = sA=1 + sB=0 = (RA=1 et B=0 a)/b,
  4. rA=1 et B=1 = sA=1 + sB=1 = (RA=1 et B=1 a)/b.

En soustrayant (2) à (1), on obtient

sA=0 + sB=0 – (sA=0 + sB=1) = (RA=0 et B=0 a)/b – (RA=0 et B=1 a)/b,

c’est-à-dire

sB=0 – sB=1 = (RA=0 et B=0 – RA=0 et B=1)/b

d’où

b(sB=0 – sB=1) = RA=0 et B=0 – RA=0 et B=1.

En soustrayant (4) à (3), on obtient

b(sB=0 – sB=1) = RA=1 et B=0 – RA=1 et B=1,

d’où

RA=1 et B=0 – RA=1 et B=1 = RA=0 et B=0 – RA=0 et B=1.

Si le modèle est vrai, deux différences observables sont égales.

On obtient l’égalité de deux autres différences observables en soustrayant (3) à (1) et (4) à (2) :

RA=0 et B=0 – RA=1 et B=0 = RA=0 et B=1 – RA=1 et B=1.

 3. Négocier l’approximation

On demande à quelqu’un, à qui on a appris à distinguer les critères SA et SB, d’apprécier les quatre situations (en abrégé : 00, 01, 10, 11). On calcule les quatre différences et il faut alors juger : les égalités déduites de la théorie sont-elles obtenues ou pas ? Comme on ne dispose pas d’une mesure exacte des distances R, on peut se donner une approximation de ± 1 mm, c’est une question de convention (cf. 7a).

Avec cette convention, on accepte comme approximativement égales deux valeurs dont la différence est inférieure, en valeur absolue, à 2 mm, et comme clairement inégales deux valeurs dont la différence est supérieure, en valeur absolue, à 2 mm.

4. La stabilité des réponses

Supposons que le test soit réussi. Peut-on conclure que la personne produit ses appréciations pour cette situation toujours selon la même formule d’intégration additive ? Non. Il faut vérifier, par exemple, trois jours plus tard. Il est possible que ses appréciations changent, de telle sorte que l’additivité soit à nouveau corroborée, ou bien de telle sorte que l’additivité soit falsifiée. Immense est notre ignorance.

5. Comparabilité inter-individuelle

Supposons que les réponses de Paul et de Julie permettent de supposer qu’elles mesurent leurs appréciations selon le modèle additif. Supposons que lorsqu’ils apprécient la situation 00, leurs réponses soient 2 et 4 cm, respectivement. Peut-on en déduire que Paul a une appréciation plus petite que Julie de la situation ?

D’après la théorie, les personnes attribuent des valeurs aux critères. Mais la théorie est muette sur l’unité de valeur sur laquelle repose l’additivité. Rien ne dit que les unités de valeur utilisées par Paul et Julie pour évaluer les critères soient égales — d’un point de vue épistémologique, on peut se demander s’il existe même un critère d’égalité. Même en postulant l’égalité des unités de valeur, rien ne dit que les fonctions de mesurage qu’ils utilisent, une fois les valeurs additionnées, pour indiquer leurs appréciations sur l’échelle de réponse, soient identiques.

La plausibilité de l’additivité du modèle au niveau intra-individuel n’implique pas que les réponses (R) permettent des comparaisons théoriques inter-individuelles (r). Agréger les réponses de personnes différentes pour faire des inférences sur le processus de mesurage fonctionnel moyen suppose d’accepter que ce processus ne dépende pas des personnes (seules les valeurs données aux critères seraient spécifiques). Cette hypothèse est testable : elle implique que toute personne produise ses réponses selon un processus additif.

Référence

Anderson, N. H. (2001). Empirical direction in design and analysis. Mahwah, NJ: Lawrence Erlbaum Associates.

29a. Glossaire pour la méthodologie et l’épistémologie de la psychologie (inachevé)

Dans ce billet, je consigne des mots-clés pour l’enseignement de méthodologie et d’épistémologie appliquée en licence de psychologie. N’hésitez pas à envoyer des commentaires.

Approximation. Une mesure est nécessairement approximative. Mais il faut préciser sur quoi porte l’approximation : comment sont affectées la détermination empirique et la détermination théorique du phénomène ?

Binomiale (loi). Le b-a ba de l’inférence statistique ?

Cardinal. Le cardinal d’un ensemble est sa taille. Un étudiant de L doit savoir (i) répondre à la question « combien de m-uplets possibles avec une description m-variée du comportement ? » (voir 20a), (ii) justifier que ce nombre est intéressant. Il l’est parce que, si on veut avoir une chance de découvrir une loi empirique régissant les phénomènes qu’on sait ainsi décrire dans telle population d’unités d’observation, il faut échantillonner une quantité d’unités d’observation beaucoup plus grande que ce nombre (cf. 25a).

Description (objective). Pour poser le problème de l’explication d’un phénomène, il faut au préalable décrire ce phénomène de manière objective. L’objectivité consiste dans l’interchangeabilité des observateurs (cf. 24a).

Distribution conditionnelle. L’observation objective d’une masse d’unités d’observation dans un référentiel de description bivarié (VI, VD) permet l’étude de la distribution de la VD conditionnellement aux valeurs de la VI. On peut ainsi tester statistiquement l’indépendance de la VD et de la VI (voir Popper, 1992).

Épistémologie. Réflexion sur ce qui permet de différencier connaissance scientifique et connaissance non scientifique.

Estimation (statistique).

Évaluation.

Explication (scientifique). Tout étudiant de licence de psychologie devrait pouvoir produire au moins une définition de ce qu’est l’explication scientifique, puisque celle-ci sert éventuellement à justifier la curiosité de celui qui veut observer ou les attentes de celui qui veut intervenir. Définir ce qu’est l’explication scientifique nécessite quelques prérequis (voir 25a).

Hypothético-déductif (raisonnement, démarche). Certains disent que la méthode scientifique repose sur la démarche hypothético-déductive (il faut aussi parler de l’induction et de l’abduction comme modes de raisonnement non valides employés pour pour généraliser et diagnostiquer, respectivement). Connaître ces modes de raisonnement est une compétence méthodologique. Savoir qu’un raisonnement hypothético-déductif sert à tester une hypothèse et que le résultat du test est soit la falsification soit la corroboration, c’est-à-dire une conclusion de plausibilité, c’est une compétence méthodologique. Savoir décomposer l’hypothèse comme une conjonction d’hypothèses est une compétence méthodologique.

Indépendance (de deux variables aléatoires).

Individu (statistique, ou unité d’observation). Ce qui forme le support ontologique d’un phénomène. Typiquement, une personne à un moment constitue une unité d’observation.

Objectivation/subjectivation. Croisée des chemins en psychologie mais plus largement dans les sciences de l’homme (cf. Granger, 1994). L’élaboration de la connaissance scientifique passe par la description objective des phénomènes. Lorsqu’elle est coercitive, cette description procède d’une appropriation préalable de la nature. Quelles sont les conditions d’une connaissance scientifique d’une personne ? Autrui ne nous appartient pas. Une étudiante s’intéresse à ce qu’une mère alcoolique pourrait dire du bébé dont elle est enceinte. Avant d’être un problème scientifique, le problème est celui des conditions d’accès à cette personne : comment aborder cette personne ? On « frappe à sa porte » et on lui demande si elle veut bien s’offrir à notre curiosité et à notre jugement ? Il faut défendre la nécessité et la légitimité, en psychologie, d’une philosophie de la dignité, quitte à prendre le risque de conclure à l’incompatibilité des exigences scientifique et philosophique. Dans quelles conditions l’auscultation psychologique (Canguilhem, 1958) de l’autre garantit-elle sa dignité ?

Personne. Notion paradoxale : Paul est une personne unique et permanente dans une certaine durée, ce qui suppose qu’elle est identique à elle-même. Or Paul n’est jamais le même. Si la psychologie est une science, c’est une science des personnes, qui cherche ce qu’il y a de commun à toute personne.

Phénomène. Ce qui se produit. Si quelque chose se produit, il faut que cela se produise dans l’espace-temps, et que cela affecte au moins une entité (notamment, en psychologie, une personne). La description objective permet d’appréhender les phénomènes d’un certain point de vue.

Probabilité. (i) Vous êtes dans la catégorie X. 90% des gens de la catégorie X qu’on a pu examiner avaient telle maladie. Donc la probabilité que vous ayez cette maladie est 90%. Cette conclusion est non seulement logiquement invalide mais fausse : la probabilité que vous ayez cette maladie vaut 0 ou 1. (ii) On teste une hypothèse nulle H0. La valeur de la variable-test tombe dans la zone de signification statistique, définie en fixant à .05 l’erreur de type 1. Donc il y a 5 chances sur 100 que H0 soit fausse. Cette conclusion est logiquement invalide et elle est fausse : soit H0 est vraie, soit elle est fausse. De plus, une opinion fort répandue en modélisation statistique est que H0 est fausse (e.g., Embretson & Reise, 2000).

Relation (binaire). Notion mathématique qui sous-tend la notion de relation entre deux variables statistiques. Cas particuliers : relation restrictive, application et fonction, indispensables pour aborder l’explication et définir une variable statistique.

Validité logique (d’une conclusion). Soit un argument de la forme si prémisse alors conclusion. La conclusion est valide si elle est déductible de la prémisse. Dans de nombreux domaines d’activité, la validité des conclusions n’est pas nécessaire. La validité des conclusions est un critère nécessaire de la scientificité d’une conclusion.

Variable (statistique). Concept fondamental qui devrait être enseigné quelle que soit la formation initiale des enseignants (mathématiques, psychologie, …) en L1, L2 et L3 (cf. 24a). Une variable en statistique n’est pas nécessairement une variable aléatoire.

Vérité (d’un argument). Un argument est vrai ou faux mais pas ni vrai ni faux. Si un argument est supposé être ni vrai ni faux, l’énonciation de cet argument n’a pas de finalité scientifique. Si on admet qu’un argument est vrai ou faux, on peut fonder la méthodologie comme moyen de répondre à la question de savoir comment faire pour connaître la valeur de vérité de tel ou tel argument. Tester une hypothèse est un moyen de découvrir qu’elle est fausse (si on se contente du témoignage d’un événement qui tombe dans la classe de ses falsificateurs).

Gilles-Gaston Granger sur les sciences humaines

Les sciences de l’homme se trouvent de par leur propre nature placées devant un dilemme. Ou réduire totalement les significations à des sens strictement mis en forme, au risque de voir s’évanouir la spécificité de leur objet, et dégénérer en exercices logico-mathématiques. Ou introduire massivement et naïvement les significations comme telles, et, perdant toute possibilité de construire vraiment des modèles abstraits, se muer, dans le meilleur des cas en herméneutique philosophique, en vaticinations mythiques dans le pire. (p. 272)

Granger, G.-G. (1994). Formes, opérations, objets. Paris : Vrin.

Voir aussi Bruner (1990).

28a. Validité concourante, trompe-l’oeil métrologique

Deux tests sont supposés mesurer la même grandeur. Par exemple, deux échelles d’anxiété mesurent l’anxiété, deux tests de facteur g mesurent le facteur g (intelligence dite générale). La doctrine de la validation des tests propose un critère de validation fondé sur ce qui est appelé la validité concourante (ou encore, convergente) des tests. La performance rhétorique accomplie est remarquable : les tests, conçus comme instruments, sont dotés d’une propriété, qu’on qualifiera de « psychométrique ». Cette « propriété psychométrique » se mesure avec la corrélation des scores aux deux tests — ce qui montre la confusion entre « test » et « score », variable définie en partie en référence à ce test. L’usage veut que la validité concourante soit jugée « satisfaisante » si elle est supérieure à 0,70.

Si une corrélation supérieure à 0.70 suffit pour déduire que les deux tests appliqués à la même unité d’observation mesurent toujours la même quantité de la même grandeur, cet article montre que ce critère de validation est faux. Si, pour sauver la grandeur, on concède que la quantité mesurée par chaque test n’est pas la même, la corrélation des scores n’a plus de pertinence. Si on se retranche sur une interprétation du genre « on peut faire une confiance modérée dans les scores », les conclusions comparatives qu’on va tirer sont logiquement invalides (c’est le côté fumeux de la doctrine de la validation des tests, voir Borsboom et al., 2009).

1. Corrélation (linéaire)

Pour s’en rendre compte, commençons par ce qu’est une corrélation en étudiant quelques exemples concrets, à commencer par celui qui est présenté graphiquement ci-dessous. ValiditeConcouranteJ’ai simulé un échantillon aléatoire de 10 personnes ayant passé, dans la foulée, les tests X et Y, dans un ordre quelconque. Les tests sont composés d’items dont le format de réponse est une échelle de Likert de -3 à +3 points, ce qui fait qu’on peut avoir des scores négatifs. Chaque personne est représentée sur le graphique par un losange. La corrélation vaut 0,702 et on voit nettement que les losanges ne sont pas alignés.

Plus la corrélation s’approche de 1, plus les points (losanges) sont rectilignes. La corrélation du nuage de points ci-dessous vaut 0,998. ValiditeConcourante2Remarque 1. Si les points sont rectilignes, on peut les ordonner en se donnant un « bas » et un « haut ». On obtient un ordre simple parce que deux points distincts quelconques sont comparables : l’un se trouve plus bas que l’autre. Il faut bien voir que les points vert et noir du premier graphique ne peuvent pas être ordonnés par rapport à l’axe du nuage de points : on ne peut pas soutenir que l’un est plus bas que l’autre ; ils sont incomparables. Donc l’ordre qu’on peut définir sur ce nuage de points n’est pas simple (c’est un ordre partiel). Il est impossible d’utiliser les points comme positions d’une échelle ordinale.

Remarque 2 (technique et falcultative). La corrélation mesure le degré d’alignement rectiligne des points parce que (i) c’est une covariance réduite (i.e., divisée par le produit des écarts types) et que (ii) la corrélation est maximisée si et seulement si les variables sont reliées par une fonction affine positive (il existe a et b > 0 tels que Y = a + bX).

Par définition,

corrélation(X, Y) = covariance(X, Y)/[écart type(X) × écart type(Y)],

X et Y sont un couple de variables. Dans le cas où la population sur laquelle ce couple est défini est finie, la covariance des deux variables est la moyenne des produits des écarts à la moyenne, c’est-à-dire des termes (ximx)(yimy), où i indexe l’unité d’observation et mx désigne la moyenne de X. L’écart type d’une variable est la racine carrée de sa variance et la variance d’une variable est la covariance de cette variable avec elle-même. Dans le cas où la population est infinie, voir un cours de statistique sur les moments d’une variable aléatoire réelle. Si les deux variables sont liées positivement de manière affine, il existe un réel strictement positif b tel que

Y = a + bX.

D’après les règles de l’algèbre (voir par exemple Allaire, 1998), covariance(X, a + bX) = b var(X) et var(a + bX) = b2 var(X). D’où, en remplaçant les termes,

corrélation(X, Y) = covariance(X, a + bX)/[écart type(X) × écart type(a + bX)]
= b var(X)/{racine[var(X)] × racine[var(a + bX)]}
= b var(X)/racine[var(X) × var(a + bX)]
= b var(X)/racine[var(X) × b2 var(X)]
= b var(X)/b var(X)
= 1.

Réciproquement : la valeur maximale d’une corrélation est 1 et quand la corrélation vaut 1, cela entraîne que les deux variables sont positivement affines.

La covariance du couple (X, Y) ne peut pas être plus grande que le produit des écarts types. En effet, il existe les réels a, b et la variable résiduelle Z tels que Y = a + bX + Z, avec cov(X, Z) = 0 (il suffit pour s’en convaincre de considérer que les variables X et Y sont des vecteurs de même origine, et d’exprimer le vecteur Y comme la somme de deux vecteurs, l’un qui est aligné au vecteur X, l’autre, Z, qui est à angle droit de X). Il s’ensuit que

cov(X, Y) = cov(X, a + bX + Z) = b var(X) + 0 = b var(X).

D’autre part, var(Y) = var(a + bX + Z) = b2 var(X) + var(Z). Finalement,

corr(X, Y) = b var(X)/{racine[var(X)] × racine[b2 var(X) + var(Z)]}
= b var(X)/racine{var(X)] × [b2 var(X) + var(Z)]}
= b var(X)/racine{[b var(X)]2 + var(X) × var(Z)]}.

Comme b var(X) ≤ racine{[b var(X)]2 + var(X) × var(Z)]} car var(X) × var(Z) ≥ 0, la corrélation ne peut pas dépasser 1. Si elle vaut 1, alors var(Z) = 0 et b > 0, ce qui signifie que Y et X sont reliés par une relation affine positive (Y = a + bX).

2. Corrélation imparfaite et incomparabilité

Le phénomène remarquable que décrit une corrélation positive strictement inférieure à 1 est que les points ne sont pas rectilignes. S’ils ne sont pas rectilignes, on ne peut pas exclure que deux points distincts soient incomparables (comme les points vert et bleu du premier graphique). Que signifie l’incomparabilité du point de vue du mesurage (défini dans 3a) ?

Prenons un exemple dans la vie pratique, en considérant non pas deux tests mesurant une grandeur psychologique chez deux personnes mais deux thermomètres mesurant la température extérieure à deux moments de la journée. Si le premier indique une hausse tandis que le second indique une baisse de température, ou l’inverse — deux 2-uplets incomparables —, on a un problème. Au moins un des deux thermomètres ne fonctionne pas correctement et on regarde les données avec scepticisme : on ne les qualifie pas comme données, donc on ne les traite pas.

Si on appliquait le critère de validation concourante à ces thermomètres, on exigerait que les relevés effectués sur un échantillon de moments différents corrèlent à au moins 0,70. Donc on accepterait une certaine quantité de 2-uplets incomparables dans les données. Le critère de validation concourante est faux : si les deux instruments ne mesurent pas toujours la température et si on ne sait pas faire en sorte qu’ils marchent quand on a besoin qu’ils marchent, il vaut mieux ne pas les utiliser (cf. les deux premières remarques de 3a) .

Le lecteur peut télécharger un fichier Excel qui permet de compter les anomalies (paires de 2-uplets incomparables) sur un échantillon de dix unités d’observations, selon la valeur qu’il donne à la corrélation des scores aux deux tests, en la choisissant dans ]0, 1[. Voici un exemple commenté.

Capture1_28a

On veut voir ce qui se passe avec une corrélation théorique (celle qui existe au plan de la population d’une infinité d’unités d’observations) de 0,90 ; on indique la corrélation souhaitée en saisissant « .9 » dans la cellule (I, 1) de la feuille de calcul (ou bien il faut remplacer le point de la notation américaine par une virgule). Les scores d’un échantillon aléatoire de 10 personnes sont générés dans les colonnes X et Y (pour des détails sur la simulation, me demander en envoyant un commentaire). La corrélation empirique est calculée dans la cellule (I, 4) de la feuille de calcul : 0,814.

Le plus intéressant à mes yeux, c’est le nombre de situations incohérentes. Avec 10 personnes, on a (10 × 10 − 10)/2 = 45 paires possibles formées par des personnes distinctes. Ces paires sont représentées dans la matrice ci-dessous. Les cellules du triangle du bas sont programmées pour afficher 0 si les 2-uplets sont comparables et 1 si les 2-uplets sont incomparables. Le nombre de 1 divisé par 45 et multiplié par 100 est le pourcentage d’anomalies. Ce pourcentage est calculé dans la cellule (I, 6) de la feuille de calcul  : 16 % (voir la capture d’écran ci-dessus).

Capture2_28a

La feuille de calcul génère de nouvelles données à chaque fois qu’on appuie sur la touche f9 du clavier. Même des corrélations jugées très élevées en psychologie, i.e., supérieures à 0,90, permettent une quantité non négligeable d’anomalies, c’est-à-dire de situations où il est impossible de décider laquelle des deux unités d’observation possède le plus de quantité au vu des scores.

3. Tautologie ou invalidité logique

Pour sauver le mythe « les deux tests mesurent la même grandeur », on peut argumenter de deux manières. La première, hétérodoxe du point de vue de la doctrine de la validation des tests, consiste à proposer deux conventions (cf. l’article 9a) : (i) un score au test X mesure ordinalement la quantité de grandeur d’une unité d’observation (u, t) ; un score au test Y mesure ordinalement la quantité de grandeur d’une unité d’observation (u, t’). Comme la passation des tests X et Y par la personne u ne peut pas être faite au même moment (t et t‘ ne se recouvrent pas), rien n’interdit d’observer des 2-uplets incomparables si rien n’interdit la variation de la quantité mesurée entre t et t’.

Détaillons avec l’exemple des points vert et noir du premier graphique. Le point vert, de coordonnées (-7, -4), correspond à la personne u10. On a X(u10, t1) = -7 et Y(u10, t’1) = -4. Le point noir, de coordonnées (2, -15), correspond à la personne u3. On a X(u3, t2) = -2 et Y(u3, t’2) = -15. Comme les moments du mesurage sont distincts, rien n’empêche que u10 ait eu moins de quantité de la grandeur à t1 que n’en n’avait u3 à t2 (-7 < -2), ni que u10 ait eu plus de quantité de cette grandeur à t’1 que n’en avait u3 à t’2 (-4 > -15). Sans la convention, selon laquelle la quantité de grandeur ne varie pas entre t et t’ (convention C de 9a), tout ce qui précède est infalsifiable. C’est vrai par convention, ou encore, c’est tautologique. Dans cette perspective, la validation concourante n’a plus de sens, puisqu’il n’y a pas de raison de s’attendre à une corrélation élevée entre les deux séries de scores : les tests mesurent la même grandeur, pas la même quantité de cette grandeur.

L’autre argumentation est orthodoxe et psychométrique. Les scores aux tests X et Y mesurent des scores vrais, mais avec une erreur de mesure. En général, c’est la théorie classique des tests qui est convoquée. Le problème est qu’un score vrai n’est pas une quantité de grandeur. On pourra supposer qu’un score x mesure un score vrai relié de manière positive et affine à la quantité q et qu’un score y mesure un score vrai relié de manière positive et affine au score vrai mesuré par x, soit :

-7 = τ(u10) + e(u10, X)
– 4 = a + bτ(u10) + e(u10, Y)
2 = τ(u3) + e(u3, X)
– 15 = a + bτ(u3) + e(u3, Y),

c’est-à-dire une équation à six inconnues (quatre erreurs de mesure et deux scores vrais) pour quatre données.

Conclusion : impossible de déduire quoi que ce soit sur les scores vrais de u3 et de u10. En d’autres termes, toute comparaison des scores vrais est, du point de vue de la théorie classique des tests, logiquement invalide. Je ne détaille pas ce qui se passe si on  invoque un modèle de réponse à l’item, la conclusion est la même (voir quand même l’article 22a). Dire que les tests mesurent approximativement une quantité de grandeur sans préciser que cette approximation empêche toute comparaison logiquement valide est une curieuse façon de parler. Elle sous-entend qu’on accepte d’utiliser les scores de manière logiquement invalide.

Référence

Allaire, D. (1998). Comprendre la statistique. Manuel d’autoformation. Volume 1. Québec: Presses Universitaires du Québec.

Cite this article as: Stéphane Vautier, "28a. Validité concourante, trompe-l’oeil métrologique", in Épistémologie de la psychologie, 16/11/2014, http://epistemo.hypotheses.org/2376.

27a. Pour un nouveau paradigme de publication scientifique

La réflexion qui suit a été suscitée par la lecture de Ioannidis (2014). L’appréciation de la valeur des contributions scientifiques suppose qu’il existe des contributions scientifiques (cf. 18a). En bonne méthode, distinguons les deux questions : (i) y a-t-il une contribution ? (ii) Si non, il faut s’expliquer : ce qui est affirmé est déjà su, ou bien, si ce n’est pas déjà su, ça n’est pas vrai pour telles et telles raisons. Si oui, quelle est la valeur de cette contribution ? Le chercheur ne devrait pas avoir à se préoccuper (trop, encore moins exclusivement) de la valeur de ses contributions, mais seulement de produire les contributions qui sont à sa portée dans son contexte de recherche (intellectuel, financier, environnemental, etc.).

Le modèle actuel de publication scientifique dans des revues cotées permet la valorisation et donc la légitimation sociale des travaux de recherche par « héritage » : un article hérite de la valeur de la revue qui le publie (un papier publié dans Psychological Review est un très bon papier parce que la revue est une très bonne revue). Cette valorisation-légitimation s’effectue au détriment de la création et de la mise en commun des contributions scientifiques des chercheurs (par exemple, une analyse méthodologique qui attaque un paradigme dominant (le scorage psychotechnique) n’est pas acceptée pour publication, voir Vautier 2014).

Il est techniquement facile de changer de paradigme de légitimation des travaux de recherche. Une publication scientifique est un texte qui prétend apporter une contribution scientifique dans le contexte d’un certain état des connaissances. Tout article auto-publié (blog, archive ouverte) assorti d’au moins deux commentaires critiques signés peut être reconnu comme contribution scientifique, si les commentaires reconnaissent la contribution qui est apportée. Ainsi, si la communauté le décide, aucun chercheur n’a besoin de se plier aux lois ou caprices de la publication dans des revues dont la politique éditoriale est conditionnée par une lutte de prestige (voir Notturno, 2000). Il suffit qu’il sollicite lui-même des commentaires auprès de ses collègues et auto-publie les textes commentés qu’il peut et souhaite partager.

Pour que la pratique soit viable, la communauté doit encourager ses membres à consacrer du temps à critiquer des articles (ce qu’ils font déjà mais à l’initiative des « editors » et de manière anonyme ; voir Bon, 2015, 24 janvier ; Langlais & Stanboliyska, 2014, 10 novembre). Un relevé public de qui évalue quoi et dans quel délai devrait pouvoir être géré par les sections du CNU ou tout comité académique idoine.

Tout chercheur peut présenter son bilan scientifique aux instances institutionnelles en listant ses contributions scientifiques (théoriques, empiriques, méthodologiques, etc., y compris critiques lorsqu’il travaille comme « reviewer »).

 

26a. Le fétichisme des scores psychotechniques

Les psychologues qui utilisent des tests psychotechniques doivent savoir : sauf preuve du contraire, un score psychotechnique n’est pas une mesure. Par conséquent, interpréter le QI de Julie comme une mesure approximative de son intelligence, interpréter le score d’anxiété de Paul comme une mesure approximative de son anxiété (voir le sondage 1), cela consiste à développer un mode de pensée non pas scientifique mais fétichiste (voir Gori, 2014, 5:13-5:23). La question qui se pose aux psychologues qui calculent et interprètent des scores psychotechniques est de savoir s’ils sont prêts à assumer que certaines pratiques de fabrication et d’utilisation de scores psychotechniques soient des pratiques fétichistes.

Cette question déontologique ne se pose pas dans le contexte scientiste dominant, parce que la doctrine officielle stipule que nous savons mesurer des grandeurs psychologiques grâce à des outils psychotechniques scientifiquement validés — des instruments de mesure. Les spécialistes de la mesure en psychologie qui se réclament de l’esprit de scientificité ont un devoir de clarification vis-à-vis des utilisateurs, praticiens ou chercheurs, des tests. Cet article est une contribution à cette nécessaire clarification.

Tout d’abord, il s’agira de préciser ce que mesurer veut dire. Ensuite, il faudra montrer en quoi la pensée scientifique n’est pas une pensée fétichiste. Enfin, on esquissera le problème de la légitimation de l’utilisation des scores psychotechniques.

1. Ce que mesurer veut dire : définitions

La définition de la doctrine dominante en psychologie est une singularité culturelle dans les sciences empiriques : en psychologie, mesurer, c’est noter. Autrement dit, il suffit qu’un système de notation soit consensuel pour que les notes résultant de l’application de ce système de notation soient des mesures. Nous n’avons pas à analyser en détail les conditions du consensus ; il suffit de remarquer (i) que certaines analyses statistiques de réponses recueillies sur des cohortes de répondants doivent avoir été rapportées dans des articles publiés dans des revues académiques dites qualifiantes, et que (ii) ces analyses (ACP, analyses factorielles linéaires ou non linéaires) postulent la mesurabilité des grandeurs latentes (à propos de la « validité de construit », voir par exemple Borsboom et al., 2009).

Dans d’autres disciplines, la définition qui prévaut est plus exigeante. Vautier (2014, 8 juin) en donne la formulation suivante : « Des observations (y compris des réponses à des items de tests) mesurent une certaine quantité d’une certaine grandeur si et seulement si leur variation dépend de la variation de la quantité de grandeur, de telle manière qu’il soit possible de déduire de la variation observée que la quantité de grandeur a augmenté ou diminué ».

Le problème rédhibitoire qui se pose pour la mesure de grandeurs psychologiques par les réponses à des items de tests est que les séries de réponses que l’on observe ne varient pas de manière ordinale. Autrement dit, les observations qu’on peut faire dans un langage descriptif exact ne peuvent pas être complètement ordonnées. Par exemple, la série (échec, réussite) et la série (réussite, échec) ne sont pas ordonnées. D’où le recours à un système de notation si on veut néanmoins affirmer qu’on mesure une grandeur avec ces réponses. En caricaturant à peine, il suffira qu’une interprétation unifactorielle soit acceptable pour que le test soit validé.

2. La pensée scientifique n’est pas un fétichisme, le scientisme est un fétichisme

On doit à Popper qu’une condition nécessaire pour qu’une théorie empirique soit scientifique est sa testabilité. La testabilité d’une théorie entraîne qu’elle est fausse ou bien en sursis — aucune théorie scientifique n’est sûrement vraie. Une théorie fausse est une théorie qui ne correspond pas à ce qui se passe réellement (théorie de la vérité-correspondance).

Un fétiche est un objet qui permet d’évoquer, ou d’invoquer si on s’adresse à elle, une entité métaphysique par le seul biais d’une convention ; il suffit que (presque) tout le monde croie à l’entité et croie que l’objet est relié à l’entité pour que cet objet devienne un fétiche. Un score de QI permet d’évoquer une quantité (relative et approximative) d’intelligence, que la théorie psychométrique nomme « score vrai » ou « score latent ». Mais l’évocation psychométrique de cette abstraction n’est pas scientifique parce que la théorie psychométrique ne définit aucune restriction logique qui permettrait de la rendre réfutable. L’évocation est irréfutable parce que l’erreur de mesure n’est pas restreinte. Autrement dit, le système de notation produit un score-fétiche : celui-ci permet d’évoquer une quantité désirée, dans un contexte épistémologique où on accepte d’ignorer dans quelles limites restreintes se trouve la quantité évoquée.

Par conséquent, l’utilisation la plus élémentaire de ces fétiches, c’est-à-dire la comparaison de deux scores, ne permet pas de déduire quoi que ce soit concernant la manière dont s’ordonnent les deux quantités évoquées. Un modèle psychométrique emprunte son vernis de scientificité à une science non empirique, la théorie des probabilités ; quand il s’applique au monde empirique des événements décrits par l’observation psychotechnique, il devient un modèle non scientifique parce que l’interprétation de l’événement comme résultat d’une expérience aléatoire n’est pas testable. La démarche qui consiste à juger la qualité d’ajustement d’un modèle aux données après l’optimisation des paramètres du modèle en fonction de conventions sur les distributions de probabilité est, dans la pratique de la validation des tests, faite pour accepter des modèles en admettant d’entrée de jeu qu’ils sont faux (e.g., Embretson et Reise, 2000). Cette démarche n’est donc pas scientifique mais pragmatique : il suffit que le modèle soit utile, ce qui pose le problème de sa légitimation (voir Duhem, 2007).

3. La légitimation des scores psychotechniques

Un score n’est pas utile parce qu’il mesure, au sens scientifique du terme, une quantité d’une certaine grandeur. Un score décrit dans un langage ordinal, ou encore comparatif, le comportement observé d’une personne qui a passé un test. Ainsi, il prépare l’élaboration d’une valeur d’usage qui peut être conférée à la personne dès qu’elle est placée dans une situation comparative. Un exemple courant est la comparaison du score à une norme ; si le score se situe à une certaine distance de cette norme, on conférera la valeur d’usage « doit passer d’autres tests » à la personne jugée « déficitaire ». Un autre exemple est le tri des scores pour déterminer un certain nombre de meilleurs scores (concours). La valeur d’usage conférée aux titulaires des meilleurs scores sera « sélectionnés pour la formation » et la valeur d’usage conférée aux titulaires des scores inférieurs sera « en liste d’attente ». Un troisième exemple est la comparaison du score moyen des petits français en mathématiques au score moyen des petits hollandais en mathématiques, de telle sorte que ces scores prennent une valeur d’usage dans le contexte de l’élaboration des politiques éducatives, qui sont évaluées par le biais des scores moyens.

La fabrication de systèmes de notation et l’attribution de notes à des personnes peuvent être justifiées comme une forme de construction d’une fiction instrumentale nécessaire pour répondre à des questions sociales avec une certaine objectivité. Mais ces constructions n’ont pas à être fétichisées par des spécialistes de la mesure — les spécialistes de la modélisation psychométrique ne sont pas nécessairement des spécialistes de la mesure. Les spécialistes doivent au contraire faire tout leur possible pour préparer les utilisateurs des indices à ne pas en faire des fétiches (e.g., Allouche, 2014, 29 janvier ; Piketti, 2013).

4. Conclusions

Deux conclusions peuvent être tirées de ce qui précède. Un praticien des tests devrait pouvoir ne pas calculer de score tant que sa mission n’est pas définie en référence à un problème qui nécessite le scorage. L’examen psychologique par les tests est d’abord une observation standardisée de comportements datés, dont la variabilité temporelle est inconnue, et la qualification première du psychologue consiste non pas à se faire le sorcier des grandeurs psychologiques que les scores sont supposés mesurer, mais à expliciter les limites héritées des connaissances scientifiques de sa discipline : pas de loi scientifique, pas de prévision scientifique (Popper, 1973). S’il est nécessaire, le scorage devrait être justifié dans le contexte d’une convention sociale non fétichiste, c’est-à-dire telle qu’il soit publiquement reconnu que le score n’évoque pas de propriété naturelle de la personne qui en est titulaire (son intelligence, son anxiété, etc.).

Dans le domaine de la recherche, toute hypothèse dont une variable dépendante ou indépendante prend ses valeurs dans une échelle de scores vus comme des mesures n’est pas une hypothèse scientifique mais une hypothèse fétichiste. Les grandeurs psychologiques ne sont pas des concepts scientifiques tant qu’elles ne sont pas mesurables et les études de validation des tests utilisés ne testent pas la mesurabilité (voir par exemple Michell, 2012) ; sinon, il faudrait reconnaître que la mesurabilité est massivement falsifiée. Par conséquent, un chercheur en psychologie qui s’intéresse aux réponses à un test doit d’abord reconnaître qu’il ne sait pas interpréter ces réponses comme des mesures, parce que dans l’état actuel des connaissances, il est impossible d’établir les conditions empiriques qui permettent de corroborer que les réponses soient des mesures, c’est-à-dire de corroborer que les variations des réponses dépendent de variations quantitatives théoriques, de telle manière qu’on puisse déduire des variations observées ce qui se passe en termes de variations théoriques (voir Vautier, 2014, 15 avril et aussi Hanson, 1971). Il doit imaginer et tester la théorie de ce qui détermine ces réponses pour que ces réponses puissent avoir une quelconque utilité théorique.