Archives par étiquette : validité

44a. Repérer les propositions contradictoires et les résoudre

La littérature psychologique et philosophique contient de nombreuses propositions contradictoires (ou paradoxales dit-on encore). En vertu du « qui ne dit mot consent », les « laisser passer » revient à en accepter la validité tout en bafouant le principe de non-contradiction1. Un tel régime dérogatoire détruit « dans l’œuf » la validité logique du discours (ou du savoir) auquel on s’intéresse et pose un problème politique : qui décide d’accepter ou de refuser telle ou telle dérogation ? Si chacun est libre de tolérer la contradiction ici ou là (souveraineté subjective), alors la contrainte logique s’applique aléatoirement et on peut se demander comment est possible la co-construction d’un savoir commun, au sens double où (i) ce savoir est le même pour tous et où (ii) chacun en assume la responsabilité intellectuelle.

A mon avis, le savoir dominant (au sens i) qui émerge dans la culture sous un tel régime est permis non pas par la responsabilité intellectuelle de tous mais par la soumission d’une majorité à l’autorité d’une élite, minorité de subjectivités — forme intellectuelle de servitude volontaire, cf., dans la vie civique, Beccaria, 1764/1991 ; La Boétie, 1576/1983). Je défends pour ma part la soumission volontaire à des principes directeurs de l’activité intellectuelle si on veut se mêler, à sa mesure, de l’œuvre scientifique ; et en particulier le respect du principe de non-contradiction.

D’où la nécessité morale, quand on se mêle de savoir scientifique, d’être en mesure de repérer les propositions contradictoires dans les textes, condition nécessaire de leur traitement critique et de leur éventuel dépassement. Ce billet est destiné à en faire une collection spécialisée jusqu’à aboutir à une méthodologie de détection, de critique et peut-être de résolution.

1. « Être seul en présence de quelqu’un est un fait qui peut intervenir à un stade très primitif… » (Winnicott, 1957/2015, p. 55)

Si être seul signifie ne pas être en présence d’autrui2, on ne peut pas être seul en présence de quelqu’un. Formellement, si je dis « je suis seul », alors je dis que je suis en présence d’au moins quelqu’un (je ne suis pas tout seul). Si je dis « je suis en présence de quelqu’un », je dis que je ne suis pas (tout) seul. On peut formaliser le problème avec les notations suivantes :

A : je suis seul, d’où ¬A : je ne suis pas seul,
B : je suis en présence d’autrui, d’où ¬B : je ne suis pas en présence d’autrui.

Si on adopte la définition A => ¬B, autrement dit si on pose que A => ¬B est valide, la proposition A et B (i.e., je suis seul en présence de quelqu’un) est invalide (cf. 38a) et alors on ne peut pas accepter que « être seul en présence de quelqu’un » puisse être un fait, comme Winnicott invite son lecteur à le faire.

D’où la nécessité de changer de définition si on fait confiance à Winnicott pour respecter le principe de non-contradiction. La tâche du lecteur est alors d’interroger le texte de Winnicott pour y trouver, si elle existe, une définition alternative de « être seul ». Sans doute « être seul » dénote-t-il une expérience subjective particulière — la solitude « authentique » (sic) —, qu’il convient d’expliciter autant que faire se peut : en effet, il ne va pas de soi que l’expérience que ces mots évoquent à Paul quand il les lit, coïncide, ne serait-ce que partiellement, avec l’expérience que ces mêmes mots évoquent à Julie3. La solitude authentique, en présence d’autrui, est-elle une forme de présence sereine à soi-même ? une prise de congé mentale vis-à-vis de l’autre physiquement à mes côtés, dont je m’abstiens de guetter les réactions, dont je n’attends rien, tout en lui faisant confiance ?

2. « Ce cœur injuste ose désirer encore, quand il n’a plus rien à désirer » (Rousseau, 1761/2012, p. 21″)

Le désir peut être présenté comme une expérience paradoxale mais, ici, paradoxe n’est pas contradiction. Si le désir s’éprouve encore quand il n’y a plus rien à désirer — et il ne faut pas croire l’amant de Julie qui désire évidemment ce qui reste à désirer d’elle, sa vertu —, on peut, si on veut lui donner un objet final (l’objet qui suffirait à le faire cesser une bonne fois pour toutes), spéculer que le désir est désir de négativité (de mort aussi). On peut aussi se demander ce qui le cause — la conscience sa propre existence n’est-elle pas suffisante ? Mais je ne vois dans tout cela aucune contradiction — peut-être seulement l’aveu d’un manque de sagesse des hommes face à leur finitude.

On peut témoigner d’une expérience contradictoire (le sentiment amoureux est, à bien des égards, contradictoire4). Du point de vue de la connaissance d’une expérience subjective, il s’agit simplement d’éviter d’affirmer d’un côté que cette expérience est contradictoire et de l’autre qu’elle ne l’est pas — il faut choisir et être prêt à reconnaitre, le cas échéant, qu’on s’est trompé.

3. « … le scepticisme qui ne redoute pas d’affirmer l’impossibilité de l’énoncé tout en osant réaliser cette impossibilité par l’énoncé même de cette impossibilité » (Lévinas, 1978, p. 20)

Si je dis que l’énoncé P est impossible, je me contredis puisque je viens d’énoncer P. Je n’ai pas « réalisé » une impossibilité, j’ai produit un énoncé contradictoire, donc faux (cf. 38a, exercice 2). Tout comme je me contredis quand je dis que la vérité n’existe pas. Parce que si je dis que la vérité n’existe pas, c’est bien que je veux être pris au sérieux, i.e., qu’on entende que ce que je dis est vrai. Ou bien je dis sans vouloir décrire quoi que ce soit (décrire c’est tenter de dire vrai), auquel cas il faut que je le précise : je ne parle pas pour être cru, mais pour signaler mon existence, ce qui n’est pas rien.

Références

Beccaria, C. (1991). Des délits et des peines. Paris : Flammarion. (Trad. M. Chevallier, première publication anonyme en 1764, Livourne, Italie)
La Boétie, E. (1983). Discours de la servitude volontaire. Paris : Flammarion. (Original publié en 1576)
Lévinas, E. (1978). Autrement qu’être ou au-delà de l’essence. Paris : Le Livre de Poche.
Rousseau, J.-J. (2012). Julie ou la Nouvelle Héloïse. Paris : Classiques Garnier. (Original publié en 1761)
Winnicott (2015). La capacité d’être seul. Paris : Payot. (Original publié en 1957)

  1. Le principe de non-contradiction interdit d’affirmer une chose et son contraire ; voir l’exercice 2 de 38a. []
  2. Cf. la solitude de Robinson Crusoé avant l’arrivée de Vendredi. []
  3. et cette exigence laisse toute sa place à ce qu’on appelle l’approche qualitative en sciences humaines. []
  4. « Je suis à la fois soumis et téméraire, impétueux et retenu » (Rousseau, 1761/2012, p. 27). []

37a. Quand ‘l’influence’ d’une variable ‘indépendante’ implique H0

Dans les domaines où la statistique inférentielle est importante, beaucoup de gens croient avoir corroboré l’hypothèse d’une influence en ayant rejeté l’hypothèse nulle (H0). Cette croyance repose sur l’argument suivant :

si telle ‘variable’ influence telle autre ‘variable’, alors H0 est fausse (et on va pouvoir la rejeter à l’aide d’un test statistique).

Parfois, H0 est entendue comme formulation de l’effet du hasard et, naturellement, si une variable influence une autre variable, on s’attend à ce que la manifestation de cette influence ne soit pas un effet du hasard. Autrement dit (contraposée de l’argument), si H0 est vraie (l’effet statistique est l’effet du hasard) alors la ‘variable indépendante’ n’influence pas la ‘variable dépendante’ — qui n’est donc plus dépendante.

Petite complication : comme l’effet statistique qu’on calcule à partir d’un échantillon est compatible avec H0, on ne peut pas falsifier H0 avec cette valeur empirique. Autrement dit, impossible de savoir si H0 est vraie ou fausse. Solution : on convient de ce que H0 est fausse  (on dit qu’on la rejette) quand cette valeur empirique est statistiquement significative, c’est-à-dire quand la variable test prend certaines valeurs extrêmes. En modifiant le sens du mot « test », on dit alors qu’on a testé H0 (on modifie le sens du mot parce qu’on admet qu’on peut tester une hypothèse qui n’a pas de conséquence falsifiable, autrement dit qui n’est pas testable si une hypothèse testable est une hypothèse qui a au moins une conséquence falsifiable).

Toujours en considérant que l’argument est valide, il est plus difficile de falsifier l’hypothèse théorique d’influence puisqu’il faut avoir admis que H0 est vraie. Résultat pratique : un biais de confirmation institutionnalisé — seules les études qui corroborent l’hypothèse théorique sont publiées — mais il faut mettre un bémol, certaines revues commencent à accepter de publier des résultats statistiquement non significatifs.

Mais l’argument est invalide, pour la raison suivante : la probabilisation qui permet le test statistique probabilise une statistique du phénomène sous une hypothèse nulle qui n’est pas explicitement articulée à un modèle de la structure causale du phénomène (c’est en lisant Sayer, 1992, que j’ai réalisé cela). On peut tester H0 de manière non critique (parce que, par exemple, on a appris à le faire en cours de méthodologie, ou encore, « c’est comme ça qu’on fait en recherche normale » — pour reprendre le terme de Kuhn, 1996). On peut aussi vouloir apprendre quelque chose des données elles-mêmes, ce qui suppose d’avoir une idée précise de ce qu’on appelle influence.

1. Première façon d’invalider l’argument

Pour montrer que l’argument ci-dessus (en bleu) est invalide, il suffit d’exhiber un contre-exemple, c’est-à-dire un cas où l’influence de la VI sur la VD implique H0. On va exhiber un cas où H0 stipule l’égalité de deux probabilités indépendantes, p0 = p1. Supposons un système qui se comporte de deux manières possibles : soit il est dans l’état e soit dans l’état ¬e (lire ‘non-e‘), selon les conditions dans lesquelles il se trouve. Ces conditions, C1 et C2, influencent le système comme récapitulé dans le tableau ci-dessous.

Etat du système
0 0 e
0 1 ¬e
1 0 ¬e
1 1 e

Formellement, l’état du système est une fonction de C1 et C2 — état du système = F(C1, C2), où l’ensemble de départ de F est le produit cartésien des modalités de C1 et des modalités de C2 (vues comme variables, c’est-à-dire que C1 et C2 peuvent varier durant la vie du système), c’est-à-dire l’ensemble {00, 01, 10, 11}, et où l’ensemble d’arrivée de F est {e, ¬e}.

Une illustration de cette situation peut aider à se figurer ce dont il est question. Imaginons une porte qui s’ouvre dans un sens ou dans un autre, selon qu’elle est poussée d’un côté ou de l’autre. Si aucune poussée n’est exercée (C1= 0 et C2 = 0), la porte reste fermée (e). Si une seule poussée est exercée (C1 = 1 et C2 = 0 ou bien C1 = 0 et C2 = 1), la porte s’ouvre (¬e). Si la poussée est exercée de part et d’autre de la porte (C1 = 1 et C2 = 1), la porte reste fermée (les deux poussées s’annulent).

Supposons que le chercheur sache contrôler ou seulement observer C1 mais soit ignore que la condition C2 influence l’état du système (ignorance théorique), soit ne sache contrôler ni observer C2 (ignorance pratique, on ne sait pas « mesurer » C2). Supposons enfin que quand il observe le système, la condition C2 ne dépende pas de la condition C1 : en termes probabilistes, C1 et C2 sont des variables indépendantes ; par exemple, Pr(C1 = 0 et C2 = 0) = Pr(C1 = 0) × Pr(C2 = 0).

Alors la probabilité p0 de e sachant C1 = 0 est la probabilité de C2 = 0, et la probabilité p1 de e sachant C1 = 1 est la probabilité de C2 = 1. Si la probabilité de C2 = 0 vaut 0,5, la probabilité de C2 = 1 vaut aussi 0,5 et alors p0 et p1 sont égales. (Pour une démonstration, voir l’annexe à la fin de ce billet.)

Donc l’influence de C1 sur le système n’implique pas que « H0 : p0 = p1 » soit fausse : tout dépend de la relation statistique de C1 et C2. Cette relation statistique n’est pas la structure causale du système : elle décrit la fréquence de réalisation des conditions qui, conjointement, déterminent le fait que le système se trouve dans l’état e ou ¬e.

2. Corrélation n’est pas causalité

Les proportions observées p0 et p1 reflèteront la statistique des états en C1 et C2 étant donné le rôle causal de C1 et C2 sur le système, pas l’influence de C1 sur le système, qui est décrite dans le tableau ci-dessus ou encore dans le contenu de l’expression « état du système = F(C1, C2) ». Si la distribution des états en C2 n’est pas la même sous C1 = 0 et sous C1 = 1, le chercheur pourra trouver une différence significative entre les deux proportions observées (voir la simulation, première feuille de calcul). S’il applique l’argument ci-dessus (en bleu), il conclura que C1 a une influence sur le système mais sa conclusion, quoique juste, sera logiquement invalide parce que fondée sur un argument logiquement invalide.

3. Deuxième façon d’invalider l’argument

Cette conclusion invalide est juste si C1 a une influence, mais C1 pourrait tout aussi bien ne pas avoir d’influence. Supposons maintenant que les lois du système soient telles que représentées ci-dessous.

C1 C2 Etat du système
0 0 e
0 1 ¬e
1 0 e
1 1 ¬e

On voit bien que l’état du système ne dépend pas de C1 mais seulement de C2 — état du système = F(C2). Si on constate une différence statistiquement significative, par exemple p0 < p1  avec un « risque d’erreur de type 1 » inférieur à .05, cela signifie seulement que C1 et C2 ne sont pas indépendantes (au sens statistique ou probabiliste du terme) et que C2 était à 0 moins souvent quand C1 était à 0 que quand C1 était à 1 (voir la simulation, deuxième feuille de calcul).

4. Conclusions méthodologiques

On a observé un lien statistique significatif entre une VI et une VD. On n’a pas corroboré que la VI influence la VD parce qu’on n’a pas testé cette influence. On a testé une hypothèse nulle qui permet de définir une variable test et une convention de rejet fondée sur le fait qu’on connaît la loi de probabilité de cette variable test. Rejeter H0, c’est dire « tiens, il y a un phénomène statistique qui devrait se produire rarement si H0 était vraie, on peut le prendre au sérieux pour l’utiliser (il risque d’être robuste) ou pour l’expliquer (il y a un mécanisme causal qui se cache derrière l’effet) ».

Cependant, du point de vue des connaissances empiriques, mieux vaut quelques réplications brutes d’inférence statistique qu’un seul échantillonnage (ou sondage) assorti d’une analyse de signification statistique, qui, aussi brillante soit-elle du point de vue mathématique, probabiliste, statistique, non seulement ignore complètement la notion de causalité mais encore ne dit rien sur la robustesse (ou réplicabilité) du phénomène statistique.

Si on espère apprendre quelque chose des conditions déterminantes de l’état du système au cours de sa vie, ce test de signification et les calculs afférant d’intervalles de confiance relèvent plus d’un ritualisme scientiste que de la méthodologie proprement scientifique (i.e., d’une démarche critique rationnelle). Il vaudrait mieux consacrer son temps et son énergie à imaginer les causes possibles du phénomène, à imaginer comment les tester et à les tester (voir aussi Hanson, 1971).

Il y a plus : lorsqu’on dispose d’une hypothèse causale qu’on estime complète (i.e., on estime avoir fait la liste de toutes les conditions pertinentes), le test de cette hypothèse ne nécessite aucun test statistique d’une hypothèse nulle. Il suffit de savoir quels sont les contre-exemples (falsificateurs) de l’hypothèse et d’observer le système dans chacune des conditions pertinentes pour essayer de prendre la théorie en flagrant délit d’erreur.

Le travail expérimental consiste à réaliser ces conditions plutôt qu’à attendre qu’elles soient réalisées (ce qui bien entendu n’est pas nécessairement possible selon ce que sont le système et ses conditions pertinentes dans la recherche concrète ; voir aussi Popper, 1992). Si on trouve des contre-exemples et qu’on reconnaît leur existence, le problème consiste à imaginer ce qui les rend possibles et ce qui les rendrait impossibles (élaboration de la théorie et/ou du protocole expérimental).

Références

Kuhn, T. S. (1996). The structure of scientific revolutions (3d ed.). Chicago: The University of Chicago Press.

Sayer, A. (1992). Method in social science: A realist approach (2d ed). London: Routledge.

Annexe : démonstration

L’espace probabilisé auquel on s’intéresse est associée à la vie du système. Chaque instant de la vie du système est un point de Ω = [ti, tf], où ti et tf représentent la date de naissance et la date de mort du système, respectivement. A chaque instant de la vie du système est associé un et un seul état du système, élément de l’ensemble des états élémentaires

{00e, 00¬e, 01e, 01¬e, 10e, 10¬e, 11e, 11¬e}.

On admet qu’il existe une mesure (ou loi) de probabilité des états du système. Du fait de la structure causale du système, on sait que  Pr(00¬e) = Pr(11¬e) = Pr(01e) = Pr(10e) = 0 (i.e., les événements 00¬e, 11¬e, 01e et 10e sont impossibles).

Notons p0 = Pr(e|C1 = 0) et p1 = p(e|C1 = 1). On veut montrer que si C1 et C2 sont des variables indépendantes et si Pr(C2 = 0) = Pr(C2 = 1), alors p0 = p1.

p0 = Pr(e|C1 = 0) = Pr(e et C1 = 0)/p(C1 = 0) — définition d’une probabilité conditionnelle : Pr(A|B) = Pr(A et B)/Pr(B).

L’événement « e et C1 = 0″ est l’événement « 00e ou 01e« . Or 00e et 01e sont incompatibles. D’où

Pr(e et C1 = 0) = Pr(00e) + Pr(01e) et

p0 = [Pr(00e) + Pr(01e)]/Pr(C1 = 0).

L’événement 01e est causalement impossible. D’où

p0 = Pr(00e)/Pr(C1 = 0).

p00e = Pr(00) car Pr(00) = Pr(00e ou 00¬e) = Pr(00e) + Pr(00¬e) et Pr(00¬e) = 0, donc

p0 = Pr(00)/Pr(C1 = 0)..

C1 et C2 sont indépendantes donc Pr(00) = Pr(C1 = 0) × Pr(C2 = 0). D’où

p0 = Pr(C1 = 0) × Pr(C2 = 0)/Pr(C1 = 0) = Pr(C2 = 0).

De même,

p1 = Pr(e|C1 = 1) = Pr(e et C1 = 1)/Pr(C1 = 1).

L’événement « e et C1 = 1″ est l’événement « 10e ou 11e« . D’où

p1 = [Pr(10e) + Pr(11e)]/Pr(C1 = 1).

L’événement 11¬e est causalement impossible. D’où

p1 = Pr(11e)/Pr(C1 = 1).

p11e = Pr(11). Comme C1 et C2 sont indépendantes,

p1 = Pr(C1 = 1) × Pr(C2 = 1)/Pr(C1 = 1) = Pr(C2 = 1).

Si Pr(C2 = 0) = Pr(C2 = 1), alors p0 = p1 (cqfd — ce qu’il fallait démontrer).

 

Cite this article as: Stéphane Vautier, "37a. Quand ‘l’influence’ d’une variable ‘indépendante’ implique H0", in Épistémologie de la psychologie, 09/10/2015, http://epistemo.hypotheses.org/3106.

21a. Comparer des scores

Voici une question d’examen, la réponse d’un étudiant de L2 et mes commentaires de sa réponse.

Question. Soit un test de mémoire composé de 20 items cotés 0/1. Le score compte le nombre de réponses correctes (cotées 1). Julie a un score de 13 points et Paul a un score de 18 points. Peut-on en déduire que Paul a une meilleure performance que Julie ? Pourquoi ? (Attention au fait qu’un score n’est pas une performance, une performance étant un 20-uplet.)

Réponse de l’étudiant. Oui on peut déduire que Paul a une meilleure performance. Les scores de la performance sont concrets, observables et surtout mesurables.

Commentaire. Commençons par la réponse : « Oui on peut déduire que Paul a une meilleure performance ». Erreur… 🙁 Il faut faire attention à ce que déduire signifie. On peut déduire B de A si A implique B, ou, c’est la même idée, si B découle logiquement de A. Ici, la prémisse est « Julie a un score de 13 points et Paul a un score de 18 points ». Est-ce que cela implique que le 20-uplet sur lequel repose le score de Paul est supérieur au 20-uplet sur lequel repose le score de Julie?

Non, on sait (cf. 32a) que deux 20-uplets ne sont pas nécessairement comparables. Or, la connaissance des scores (13 et 18) ne permet pas de savoir quels sont les 20-uplets respectifs. On ne peut pas exclure que 13 agrège l’information de 11111111111110000000 et que 18 agrège l’information de 00111111111111111111 par exemple. Or ces 20-uplets sont incomparables.

Utilisons les notations de 11a. On a 13 = AX(Julie) et 18 = AX(Paul) (en négligeant l’ancrage temporel des personnes pour définir complètement les unités d’observation).

« AX(Julie) < AX(Paul) » n’implique pas « X(Julie) ≤ X(Paul) ».

L’erreur de raisonnement est possible grâce à la confusion conceptuelle entre score et performance. Un score n’est pas une performance, c’est un jugement de valeur à propos, ou encore, une hiérarchisation sociale — par opposition à une hiérarchie naturelle — de la performance.

Concernant la justification de la réponse, « les scores de la performance sont concrets, observables et surtout mesurables », il y a du travail à faire au niveau du maniement du français. On peut traduire « Les scores de la performance » par « les résultats du scorage de la performance, i.e., les X = AX ». Ces résultats sont-ils concrets ? Ce qui est concret, c’est la performance observée. Le score résulte de l’application d’une règle d’agrégation A de la performance X. Il est objectif en ce sens que deux psychologues qui partent de la même performance X et appliquent la même règle A obtiennent le même score X. Mais je ne sais pas en quoi ce score est concret ; c’est un symbole communicable. Il est observable une fois qu’il est écrit sur une feuille de papier par exemple, mais cette remarque n’est pas pertinente ici. Ce qui est pertinent, c’est qu’il ne représente pas complètement la performance X.

Dernier élément de la justification de la réponse : « Les scores sont mesurables ». Non. Ce qui est mesurable, c’est une grandeur qui, par définition, est une possibilité théorique non observable. Les scores peuvent éventuellement être considérés comme des mesures, c’est-à-dire, comme des mesurants, mais pas comme des mesurés (dans le même sens qu’on distingue signifiant et signifié en linguistique). Ce qui est mesurable, c’est le mesuré, pas le mesurant.

16a. La théorie classique des tests : un triple désastre scientifique

La théorie classique des tests sous-tend la plupart des travaux de validation des tests psychologiques mais n’explique pas comment tout score mesure une quantité. Elle interprète seulement tout score comme le résultat d’une expérience aléatoire. Cette expérience aléatoire est modélisée par une loi de probabilité qui, à tout score possible au moment où la personne à laquelle on s’intéresse est testée, associe une probabilité. Munir l’ensemble des scores possibles d’une loi de probabilité permet de définir une variable aléatoire numérique caractérisée par une espérance mathématique. Cette espérance mathématique est requalifiée en « score vrai », si bien qu’en vertu de cette construction mathématique, tout score est doté d’un score vrai et d’une erreur de mesure, résidu arithmétique qui comble l’écart entre le score et le score vrai.

Si les utilisateurs de scores considèrent que ceux-ci contiennent un score vrai et dès lors qu’ils utilisent une interprétation réaliste de la notion de vérité (ce qui est vrai est ce qui se passe réellement), ils peuvent déduire que les scores mesurent quelque chose. Mais la théorie classique des tests les empêche de revendiquer la validité logique des interprétations élémentaires qu’ils peuvent faire des scores, à cause de l’absence de restriction de l’erreur de mesure. Par exemple, ce n’est pas parce que Paul  a vu son score d’anxiété diminuer d’hier à aujourd’hui que son score vrai a diminué. Ou bien, Paul a un QI plus élevé que Julie, mais cela n’implique pas que le QI vrai de Paul soit supérieur au QI vrai de Julie. Par conséquent, adopter la théorie classique des tests comme cadre statistique pour la validation des tests revient à adopter la norme épistémologique selon laquelle des interprétations logiquement invalides sont acceptables pour une pratique d’utilisation des scores qui revendique la scientificité — on admet dans la communauté des psychologues que les tests sont scientifiquement validés.

Du point de vue scientifique, l’emploi de cette théorie est un triple désastre.  Tout d’abord, en effaçant la distinction logique entre argument valide et argument invalide, elle prive les psychologues du sens de ce qu’est une conclusion scientifiquement fondée. Pour qu’une conclusion, déduite d’une théorie et de certaines observations, soit scientifiquement fondée, il faut que les observations soient objectives à défaut d’être vraies (qui sait prouver qu’elles sont vraies ?) et que la théorie qui permet de les interpréter soit corroborée, c’est-à-dire testée avec succès (i.e., testée et pas falsifiée).

Ensuite, l’emploi de la théorie classique des tests permet aux psychologues d’ignorer que mesurer une grandeur grâce à l’observation de certains phénomènes suppose (condition nécessaire) que ces phénomènes s’inscrivent dans un ordre simple. La vérité de cette dernière proposition est testable (voir la notion de fonction de mesurage) et elle est invraisemblable (voir la définition).

Enfin, en établissant l’agrégation numérique des faits qualitatifs comme canon de la description objective pour édifier une psychologie quantitative, elle incite les psychologues chercheurs à sous-estimer les enjeux théoriques de toute méthodologie descriptive (voir la discussion du kappa de Cohen ou l’article Anecdotes statistiques inexpliquées par exemple), en institutionnalisant notamment l’ignorance de la différence conceptuelle entre ordre simple et ordre partiel ; laquelle, à ma connaissance, n’est exposée que par un manuel de méthodologie en psychologie — « An introduction to the logic of psychological measurement » de Joel Michell (1990).

Cet article développe les points qui précèdent (1) en précisant le concept de score vrai, (2) en déduisant que la comparaison de deux scores considérés comme mesures relève de la divination, (3) en soulignant que la modélisation probabiliste n’a rien à voir avec la théorisation de fonctions de mesurage, et (4) en concluant que les scores psychotechniques ne devraient pas masquer les m-uplets empiriques sur lesquels ils reposent.

1. Le score vrai

Le concept de score vrai contenu dans un score repose sur deux concepts, à savoir une échelle de scores possibles et une fonction de probabilité qui, à tout score, associe une probabilité. A ma connaissance, la théorie classique des tests, comme toute théorie psychométrique, ne se pose pas la question de savoir si les probabilités existent et comment on pourrait les connaître de manière testable.

Supposons une échelle de k scores xi, i = 1, 2, …, k. La théorie postule la loi de probabilité {pi, i = 1, 2, …, k} (ce qui implique que la somme des probabilités est égale à 1). Elle postule ainsi une variable aléatoire dont l’espérance est, par définition, la somme des scores de l’échelle pondérée par leurs probabilités, soit

score vrai = p1 x1 + p2 x2 + … + pk xk = Σ pi xi.

2. Comparer deux scores, c’est faire de la divination

On voit bien les difficultés insurmontables que pose cette approche pour l’utilisation élémentaire des scores : comment déduire de deux scores quoi que ce soit concernant les scores vrais ? Par exemple, Paul et Julie ont un QI de 120 et 130 points, respectivement. Peut-on en déduire que le QI vrai de Paul est inférieur au QI vrai de Julie ? Comme on ignore les lois de probabilité postulées pour interpréter les deux QI comme le résultat de deux expériences aléatoires, on ignore les deux scores vrais. Le score vu par la théorie classique des tests est au désir du psychologue ce que la boîte de Saint-Exupéry est au désir du Petit Prince : une boîte pour un mouton inaccessible, une coquille statistique pour un nombre inaccessible.

3. Le score vrai ne mesure rien

L’idéalisation dont procède la postulation de lois de probabilité proliférant dans un espace métaphysique masque le problème fondamental du mesurage. Le mesurage repose sur une métaphysique de la quantité, qui ne coïncide pas avec celle des probabilités. En effet, une probabilité est une quantité non mesurable (pour un autre angle d’attaque, voir aussi la section 2 de l’article 22).

Si une probabilité était mesurable, on saurait invoquer une fonction croissante qui, à tout point de [0, 1], associe un et un seul point dans un ensemble de valeurs observables. Je ne vois pas ce que peut être un tel ensemble et il est clair que l’ensemble des fréquences ne convient pas, puisqu’une probabilité quelconque de ]0, 1[ est associée à au moins deux fréquences observables. Il suffit d’envisager au moins deux expériences aléatoires fondées sur la même loi de probabilité et dont les résultats sont différents. Par exemple je lance une pièce et j’observe pile. Je lance la même pièce et j’observe face. La fréquence de l’événement « pile » associée à la probabilité 1/2 est 1 si je considère la série « pile », 1/2 si je considère la série « pile, face ».

La théorie classique des tests brouille le concept de mesurage, puisqu’elle détourne l’attention du processus de mesurage dont le score devrait être le résultat, en la focalisant sur le score vrai, dont la valeur reste néanmoins inaccessible, même par encadrement (i.e., par minoration et majoration).

4. Les scores sont des événements qualitatifs composés

En tant que théorie statistique, la théorie classique des tests oblitère la signification empirique, expérimentale, ou encore instrumentale des scores. Les scores de tests sont traités comme des données au sens propre du terme. Le psychométricien ne veut rien savoir de leur origine, il les accepte sans réserve, abandonnant au psychologue (non statisticien) la responsabilité de leur fabrication. Une telle division du travail est constitutive d’un jeu de dupes qui s’organise au service de l’impossibilité de rejeter les scores pour inadéquation scientifique.

L’article Scorage vs. mesurage détaille le processus de fabrication des scores à l’aide des notions de fonctions descriptive et de scorage. La première, notée X, associe un m-uplet de réponses à toute unité d’observation ; la seconde, A, associe un score à tout m-uplet. Pas de score sans m-uplet. La division du travail instituée par la théorie classique des tests, par son cantonnement à l’analyse statistique des scores, permet que la communauté entière des utilisateurs de scores puissent ne pas buter sur l’évidence selon laquelle, pour mesurer une grandeur avec des observables, il faut que ces observables soient simplement ordonnés. Or les observables psychotechniques sont des m-uplets.

Comment ordonner simplement des m-uplets ? Par exemple, comment ordonner (0, 0, 1) et (1, 1, 0) ? Ou encore, comment ordonner simplement les points flottant dans un cube ? Dès lors que la démarche descriptive est multivariée, son espace de description n’est pas un ordre simple parce qu’un ordre simple est un espace à une dimension, dans lequel les objets s’échelonnent, se placent à la queue leu leu (avec possibilité d’ex æquo).

Le théoricien classique des tests omet de remarquer que 0 et 0 et 1 n’est pas 0 plus 0 plus 1. Cette omission est théoriquement condamnable, puisque la théorie des probabilités, domaine de compétence psychométrique, repose sur ce qu’Alfred Rényi, dans le premier chapitre de son traité de « Calcul des probabilités » (1966), appelle une algèbre d’événements. Le « et » logique y est défini comme un produit et non pas comme une addition, cette dernière correspondant au « ou » logique.  Le triplet (0, 0, 1) — plus généralement, un m-uplet — n’est pas une somme mais un produit logique. C’est un événement composé, une co-occurrence, ou encore une conjonction logique — du point de vue chronologique, il faut négliger le temps nécessaire à l’obtention des réponses pendant la durée du test. Il est temps que les psychologues, dans leur effort de scientificité, reprennent la main sur l’élaboration théorique de leurs données.

Références

Michell, J. (1990). An introduction to the logic of psychological measurement. Hillsdale, NJ: LEA.

Rényi, A. (1966). Calcul des probabilités. Paris: Dunod.

Cite this article as: Stéphane Vautier, "16a. La théorie classique des tests : un triple désastre scientifique", in Épistémologie de la psychologie, 28/05/2014, http://epistemo.hypotheses.org/1054.

3a. Mesurer avec des réponses à des tests : définition

Définition. Si des observations (y compris les réponses à un certain nombre d’items de test) mesurent une certaine quantité d’une certaine grandeur, alors la variation des réponses dépend de la variation de cette quantité de grandeur, de telle manière qu’il soit possible de déduire d’une variation observée que la quantité de grandeur a augmenté ou diminué.

Remarque 1. Si on admet que la variabilité des observations dépend d’autres « facteurs » et si on ignore de quelle manière ces « facteurs » déterminent la variabilité des observations, alors on ne peut déduire de la variabilité observée ni une augmentation ni une diminution de la quantité de grandeur, parce qu’on ne peut exclure que les variations résultent de variations « parasites » quand la quantité de grandeur n’a pas varié.

Remarque 2. La mise au point d’instruments de mesure consiste pour une part à réduire dans des limites connues l’effet des « facteurs parasites » sur les indicateurs qu’on utilise pour déduire les variations de la quantité de grandeur qu’on veut mesurer (voir les propos de Duhem, 1906/2007 et de Trendler, 2009).

Remarque 3. Ce travail de mise au point instrumentale nécessite qu’on sache manipuler la quantité de grandeur de manière expérimentale. Par exemple, pour étudier les variations « parasites » des observations, il faut pouvoir s’assurer que la quantité de grandeur ne varie pas (ou varie de manière négligeable) pendant qu’on observe les réponses en différents moments. Pour étudier la sensibilité du dispositif de réponse aux variations de la quantité de grandeur, il faut pouvoir augmenter ou diminuer de manière de plus en plus fine la quantité qu’on veut mesurer. Dans le domaine psychotechnique : comment manipuler la quantité d’intelligence ou la quantité d’anxiété par exemple, comme on manipule la quantité de température de l’eau en « augmentant ou en diminuant le gaz » sous la casserole ?

Remarque 4. En psychologie, on appelle les tests ou les questionnaires des instruments de mesure (cf. 6a). Cette habitude de langage est trompeuse parce que si on savait mesurer quelque chose avec des réponses à un test, ce serait parce que la personne qui répond servirait d’instrument de mesure (c’est elle qui produit les réponses, pas le test). En conséquence, les psychologues scientifiquement responsables de leurs pratiques devraient cesser d’appeler les tests et les questionnaires des instruments de mesure. S’ils ne le font pas, ils contribuent à une propagande qui colporte qu’on sait mesurer avec des tests et qui montre aux personnes averties que soit ils n’ont pas d’idée claire de ce qu’est mesurer, soit ils ne rejettent pas le caractère trompeur d’une telle propagande en toute connaissance de cause (voir aussi la position de Michell, 2009).

Remarque 5. La définition proposée ci-dessus ne suffit pas pour définir ce qu’est le mesurage métrique habituellement réalisé par les instruments de mesure. La définition convient aux indicateurs qualitatifs, qui permettent un mesurage ordinal (et non pas métrique) de la grandeur qu’on cherche à mesurer. Par exemple, si des variations qualitatives obéissent à la définition, de sorte qu’on puisse déduire que la quantité de grandeur a augmenté par exemple, on ne sait pas déterminer la quantité d’augmentation : on sait seulement qu’elle est strictement positive. Le mesurage ordinal permet de parler le langage du « plus ou moins », pas du « combien en plus ou en moins ». Comme le langage ordinal est plus faible (moins contraignant) que le langage quantitatif, le mesurage métrique (fondé sur la définition d’une unité de mesure additive) implique le mesurage ordinal. Par conséquent, si on ne sait pas mesurer de manière ordinale, on ne sait pas mesurer de manière métrique.

Remarque 6. Pour autant qu’on sache décrire les manifestations de grandeurs comme l’intelligence ou l’anxiété dans un certain langage d’observation psychotechnique, ce langage n’est pas le langage du « plus ou moins », mais celui des m-uplets. La plupart des variations qu’on sait envisager de façon empirique ne se laissent appréhender ni en « plus », ni en « moins ». L’erreur scientifique des psychologues qui croient aux grandeurs comme l’intelligence ou l’anxiété est qu’ils n’admettent pas que les phénomènes qu’ils savent étudier sont d’abord des phénomènes qualitatifs (les réponses aux items des tests). Au lieu de respecter la forme de manifestation de ces phénomènes, ils les déguisent en nombres (ou scores), vendant ainsi la peau de l’ours avant de l’avoir tué : ils font comme si on pouvait parler scientifiquement en « plus ou moins » de l’intelligence ou de l’anxiété de n’importe qui, sans que cela pose le moindre problème d’authenticité (pour une autre interprétation voir, 26a). Mais la réalité, telle qu’elle se manifeste dans nos cadres descriptifs, nous apprend-elle que le langage du « plus ou moins » est approprié pour parler authentiquement des manifestations de l’intelligence ou de l’anxiété de n’importe qui ?

Conclusion. De deux choses l’une : soit l’intelligence (ou l’anxiété, ou n’importe quelle grandeur psychologique) se mesure avec les réponses à des tests, et alors un phénomène d’ordre devrait émerger des observations, et il faut réfléchir à ce à quoi cela pourrait ressembler (voir 11a ou 32a), soit on ne sait pas mesurer l’intelligence (ou l’anxiété, ou quelque grandeur psychologique que ce soit) avec les réponses à des tests.

Activités proposées autour de cet article (répondez en laissant un commentaire)

À propos de la remarque 1 : en utilisant un test, on utilise les réponses à ce test sans se rendre compte qu’on utilise les réponses au test. Le tour ainsi opéré empêche l’utilisateur de réaliser pleinement que les réponses sont inutilisables de manière logiquement valide comme des mesures. Sur quoi repose ce tour de magie ?

À propos de la remarque 2 : ce que dit Duhem (1906/2007) à propos d’un instrument de mesure est-il applicable, par exemple, à un questionnaire psychologique ? En quoi les propos de Trendler (2009) montrent-ils que le mesurage suppose une interprétation causale des observations ?

À propos de la remarque 5 : représenter la relation d’implication logique entre mesurage ordinal et mesurage métrique par un ensemble qui contient un sous-ensemble (et indiquer quoi représente quoi).

À propos de la remarque 6 : Paul a le profil de réponse (E, R, R, R, E) et Julie le profil (R, E, E, E, R) à un petit test d’intelligence, où E et R indiquent que les problèmes posés ont été échoués ou réussis, respectivement. En admettant que ces profils de réponse « reflètent », comme on dit vaguement, l’intelligence de Paul et Julie, peut-on en déduire que l’un est plus intelligent que l’autre ?

Cite this article as: Stéphane Vautier, "3a. Mesurer avec des réponses à des tests : définition", in Épistémologie de la psychologie, 15/04/2014, http://epistemo.hypotheses.org/520.