Archives par étiquette : probabilité

Test de H0 : combien mesure le risque d’erreur de type 1 (en statistique) ?

D’abord, le risque d’erreur de type 1 (se tromper en rejetant H0) n’est pas mesuré par “p < .05” parce que “p < .05” ne désigne pas une probabilité mais un intervalle, sous-ensemble de l’ensemble de définition d’une variable-test, dont la probabilité vaut (mesure) 0,05.

Ensuite H0 est vraie par construction — sinon on ne pourrait pas déterminer la ou les valeurs-seuils telles que p < .05. Donc on se trompe nécessairement en rejetant H0.1

D’une manière générale et par construction des règles de la logique, la probabilité qu’une phrase soit fausse quand on la déclare vraie ou vraie quand on la déclare fausse mesure 0 si on se trompe et 1 si on ne se trompe pas.2 Ce qui importe, c’est que, dans le cas de figure, comme H0 est vraie, la probabilité de se tromper en rejetant H0 mesure 1.

Corollaire. La probabilité de se tromper en croyant qu’on sait mesurer empiriquement le risque d’erreur de type 1 vaut 1.

Note. On pourrait objecter que quand on dit que H0 peut être fausse, on ne parle pas de l’objet mathématique H0, mais de ce qui se passe dans le monde auquel on cherche à accéder empiriquement. Dans ce cas, on a oublié, je suppose, de répondre à la question : comment H0 pourrait être une théorie du monde auquel on s’intéresse ? Pour autant que je sache, les statisticiens sont les premiers à admettre que quand on prend leurs modèles probabilistes pour des théories qui décrivent ce qui se passe, ces théories sont fausses (e.g,. Embretson & Reise, 2000). Dans ce cas, le risque de se tromper en rejetant H0 mesure 0.

  1. Du reste, H0 n’a pas de falsificateur dans l’ensemble des valeurs possibles de la variable-test — elle est, du point de vue de ce référentiel, tautologique. []
  2. Et qui sait si on se trompe ? Si celui qui sait existe, je ne le connais pas merci de prendre contact avec moi il sera bien accueilli. []

43a. Testabilité des descriptions générales : exemples en psychologie

Ce billet répond à deux difficultés conceptuelles. La première est celle qu’oppose la notion de description générale des personnes. J’appelle description d’une personne une proposition non-tautologique qui attribue au moins une propriété ou un état à au moins une personne à au moins un moment de son existence (cf. 41a). Les propositions qui décrivent comment certains états dépendent d’autres états sont aussi des descriptions, pourvu qu’elles portent sur au moins une entité (ici, au moins une personne).

La seconde difficulté est de savoir si, une fois qu’on tient une description générale, elle est testable. J’emprunte quelques exemples aux travaux de mes étudiants de L3, qui répondaient à la question suivante dans un “devoir maison” : trouver dans la littérature psychologique académique une proposition générale et examiner sa testabilité. Les références bibliographiques sont de “deuxième main”.

1. “Pratiquer un sport est bénéfique pour la santé” (Maugendre, 2008, p. 110)

Curieux choix à mon goût. Une formulation explicitement générale est “la pratique du sport est bénéfique pour la santé de toute personne”, où “toute personne” renvoie à un ensemble de personnes (ensemble dont la définition n’est pas nécessaire). Faut-il entrer dans la complexité de la dynamique temporelle de la pratique du sport et de ses bénéfices pour la santé ? Non si on pense à un cycliste qui meurt d’un infarctus après avoir intensément pédalé et si on admet que la mort n’est pas un bénéfice pour la santé.

Formellement : si quelqu’un pratique le sport” (A) alors cela est bénéfique pour sa santé (B), implication invalidée par A et ¬B. Or la pratique du cyclisme implique A et la mort subséquente à cette pratique implique ¬B, d’où A et ¬B, i.e., “A => B” est invalide.

La proposition “pratiquer un sport est bénéfique pour la santé” est testable car (i) elle exclut qu’un cycliste puisse mourir d’un infarctus en pédalant intensément et (ii) une telle situation relève de l’observation objective. Cela étant, choisir une description générale fausse pour se demander si elle est testable est un choix que je qualifierais de malheureux.

2. “L’Homme est un animal social” (Fischer, 1997, page non-indiquée)

Encore un choix peu enthousiasmant à mon goût. Quel que soit l’instant auquel on considère un être humain quelconque, cet être humain à cet instant est un être social. La proposition est non-tautologique : elle exclut qu’il existe un être humain qui, à au moins un instant de sa vie, ne soit pas un être social.

Comment, par l’observation, établir qu’à un moment de son existence, un individu particulier ne soit pas social ? Je ne vois pas ; la propriété de socialité est une propriété non pas empirique mais définitoire : par définition, tout être humain est un être social et c’est une erreur de catégorie de considérer qu’une telle proposition puisse être testable : on ne teste pas une définition par l’observation.

3. “Il y a normalisation chaque fois qu’un groupe est confronté à un problème auquel personne, de par son expérience, sa compétence ou son statut, ne peut apporter de solution toute faite” (Amado & Guittet, 1975, page non-indiquée)

Soit un groupe une entité dotée d’une psychologie1. Ce groupe a une certaine durée de vie et, à tout moment de son existence, il peut être décrit comme se trouvant ou pas dans une situation de problème d’un certain type, disons pour aller vite dans une situation de type a.

La “normalisation” désigne un processus, qui se produit dans le groupe, et qui, par hypothèse, est déclenchée par le fait que le groupe se trouve dans une situation de type a. Ici, on bute sur l’imprécision temporelle de la proposition : combien de temps un groupe doit-il se trouver dans la situation a pour que la normalisation se déclenche ? On peut reformuler la proposition pour expliciter son caractère général ainsi : tout groupe se trouvant dans une situation de type a depuis au moins un certain temps (condition suffisante) subit un processus de normalisation (condition nécessaire).

Cette description générale est-elle testable ? Son falsificateur est l’existence d’un groupe se trouvant dans une situation a depuis au moins un certain temps (déterminé) et ne subissant pas un processus de normalisation. La question est alors de savoir si un tel groupe peut être identifié (lorsqu’il est observé dans le référentiel {situation de type a depuis au moins un certain temps,  non-situation de type a depuis au moins un certain temps} x {normalisation, non-normalisation}).  Ma réponse à la question est négative et se fonde sur un pari : je parie que, quel que soit un groupe falsifiant (i.e., identifié par un observateur de cette manière), on peut trouver un autre observateur dont la description de ce groupe en fera un groupe non-falsifiant, à cause de l’imprécision sémantique des modalités descriptives de {normalisation, non-normalisation}.

4. “Être compétent est, dans une situation d’accomplissement, la motivation principale des individus” (Darnon & Butera, 2005, p. 106)

Une telle proposition n’est-elle pas plutôt une définition ? On appelle “situation d’accomplissement” une situation telle que l’individu qui s’y trouve a pour principale motivation d’être compétent. Si c’est une définition, c’est une erreur de catégorie que de se demander si elle est testable. Admettons que ce ne soit pas une définition, c’est-à-dire qu’on ait bien affaire à une description. Reformulation : tout individu placé dans une situation d’accomplissement (condition suffisante) a pour motivation principale d’être compétent (condition nécessaire) — concernant la dynamique des phénomènes, je néglige le temps nécessaire à la priorisation des motivations une fois que l’individu est placé dans une situation d’accomplissement.

Cette description générale est falsifiée par l’existence d’un individu qui, placé dans une situation d’accomplissement, n’a pas pour motivation principale d’être compétent. Comme précédemment, je parie que l’identification objective d’un cas falsifiant, au sens faible de l’accord inter-juges, est impossible, auquel cas la proposition n’est pas testable.

5. “… les individus perçoivent le lieu de la causalité d’un changement comme interne à une personne ayant un pouvoir élevé alors qu’ils perçoivent ce lieu comme externe si la personne stimulus a un pouvoir faible” (Moscovici & Plon, 1968, p. 468)

Formalisation : quelle que soit une personne apte à juger, si le changement est attribuable à une personne de pouvoir élevé (respectivement faible), alors sa perception de causalité est interne (respectivement externe) à cette personne. La non-testabilité de la proposition résulte du fait que le processus mental d’attribution causale qu’on prête aux gens n’est pas observable — on peut seulement observer leurs verbalisations ou leurs comportements. La proposition “quelle soit une personne apte à juger, si le changement est attribuable à une personne de pouvoir élevé (respectivement faible), alors le choix d’attribution causale, tel qu’il s’exprime par sa réponse à une question de type QCM, est (respectivement n’est pas) cette personne de pouvoir (élevé, respectivement faible)” est une description générale testable.

6. “Tout regroupement de personnes ne constitue pas un groupe” (Lewin, 1930, page non-indiquée, référence bibliographique manquante)

Voici un exemple de piège (le mot “tout” peut tromper). Cette proposition est une proposition non pas générale mais singulière : “il existe un regroupement de personnes qui n’est pas un groupe”, ou encore, “pas tout regroupement de personnes est un groupe”. Les étudiants qui ont se sont ainsi piégés ont aussi choisi la proposition suivante — s’agit-il de prescience ?

7. “Les élèves forts structurent le contenu d’apprentissage (stratégie d’organisation) alors que les élèves faibles essayent de reproduire (stratégie par répétition)” (Romano, 1991, page non-indiquée)

Tout élève, s’il est fort (respectivement faible), structure (respectivement essaie de reproduire) le contenu d’apprentissage. Le référentiel de description {fort, faible, ni fort ni faible} x {structure le contenu d’apprentissage, essaie de reproduire le contenu d’apprentissage, ni l’un ni l’autre} n’est pas utilisable (au sens d’une observation objective au sens faible) donc la proposition n’est pas testable.

Remarque. Du point de vue causal, l’implication serait plutôt : Tout élève, s’il structure (respectivement essaie de reproduire) le contenu d’apprentissage, est fort (respectivement faible). En effet, les notes scolaires résultent d’une activité mentale qui produit des performances (comportements) qui sont évalués par les notes.

8. “La capacité de la mémoire de travail est limitée” (Oberauer, Farrell, Jarrold, & Lewandowsky, 2016, p. 758)

La capacité de la mémoire de travail de toute personne est limitée ; description générale falsifiée par l’existence d’une personne dont la capacité de mémoire de travail est illimitée. Peut-on observer une personne dont la capacité de mémoire de travail est illimitée ? Non donc cette proposition n’est pas testable — on peut par contre tester et falsifier “la capacité de mémoire de travail de toute personne est illimitée”, en constatant par exemple que Paul ne parvient pas à restituer les 15 mots d’une liste qu’il vient de lire.

Remarque. “Tous les hommes sont mortels” est une description générale non-testable. D’une manière générale, les descriptions générales de finitude ne sont pas testables puisque leurs falsificateurs sont des énoncés d’infinitude, dont la vérité est axiomatique (i.e., qui relève d’un positionnement fondamental — d’une définition première).

9. “La fragilité narcissique paternelle peut … induire des attitudes éducatives préjudiciables au sommeil de l’enfant” (Durieux & Matot, 1996, p. 141)

Cette citation permet de discuter les énoncés de possibilité. Quel que soit un couple (père, enfant) — domaine de généralité de la description —, si le père a une fragilité narcissique (A), alors l’enfant peut être l’objet de pratiques éducatives préjudiciables à son sommeil. Notons B la proposition “l’enfant est l’objet de pratiques éducatives préjudiciables à son sommeil”. La reformulation ci-dessus est équivalente à “si A, alors (B ou ¬B)”, c’est-à-dire à un argument dont la conclusion ne peut être fausse — est vraie. L’argument n’a donc pas de falsificateur et n’est donc pas testable.

Lorsqu’une proposition définie sur un certain domaine de généralité énonce une possibilité, ce n’est pas une description générale au sens où je vise, par cette expression, une loi empirique (ou expérimentale) qui, comme Popper (1935/1973) l’a souligné, est un énoncé d’impossibilité — réfuté par un énoncé d’existence qui affirme la possibilité qui était niée par la loi.

10. “L’individu isolé du groupe, par accident ou par châtiment, ne sait pas survivre et meurt” (Anzieu & Martin, 1968, p. 19)

Quel que soit un individu, tôt ou tard, il meurt — description générale non-testable et vraie2. Reformulons, sans trahir la pensée des auteurs, avec “tout individu isolé du groupe ne sait pas survivre et meurt au-delà de t0 + t, où t0 est la date de son isolement et t une durée fixée” ; ce qui signifie en fait qu’il existe une durée t telle que (description générale) tout individu isolé du groupe meurt au-delà de t0 + t. Supposons que t existe. La description générale est falsifiée par l’existence d’un individu en vie à une date supérieure à t0 + t, ce qui relève de l’observation. La proposition est donc testable.

11. “Plus un item est traité en profondeur (caractéristiques sémantiques) plus il a de chances d’être récupéré dans le futur” (Craik & Lockhart, 1972, page non-indiquée)

Cette citation permet de pointer le problème de la testabilité des propositions probabilistes. Chez tout humain traitant un item (domaine de généralité), il existe une fonction croissante, définie dans l’ensemble des niveaux possibles de profondeur de traitement, à valeurs dans [0, 1] (mesure de probabilité), qui, à tout niveau de profondeur de traitement de l’item, associe une et une seule probabilité d’être “récupéré dans le futur”. La proposition n’est pas testable parce que son référentiel est inutilisable ; en particulier, je parie que personne ne sait mesurer (au sens de 3a) la probabilité qu’un item donné traité par une personne donnée soit récupéré par elle dans le futur.

Références

Amado, G., & Guittet, A. (1975). La dynamique des communications dans les groupes. Paris : Armand Collin.
Craik, F., & Lockhart, R. (1972). Levels of processing: A framework for memory research. Journal of Verbal Learning and Verbal Behavior, 11, 671-684.
Darnon, B., & Butera, F. (2005). Buts d’accomplissement, stratégies d’étude, et motivation intrinsèque : présentation d’un domaine de recherche et validation française de l’échelle d’Elliot et McGrégor (2001). L’Année Psychologique, 105, 105-131.
Durieux, initiales non-indiquées, & Matot, initiales non-indiquées. (1996). La santé psychologique de l’enfant : fragilités et prévention. Ville et éditeur non-indiqués.
Fischer, G. N. (1997). La psychologie sociale. Paris : Seuil.
Maugendre, M. (2008). Comportement de santé et motivation sportive chez les adolescents (Thèse de doctorat).
Moscovici, S. & Plon, M. (1968). Choix et autonomie du sujet : la théorie de la “réactance” psychologique. L’Année Psychologique, 68, 467-490.
Oberauer, K., Farrell, S., Jarrold, C., & Lewandowsky, S. (2016). What limits working memory capacity ? Psychological Bulletin, 142, 758-759.
Romano, G. (1991). Étudier l’apprentissage en surface ou en profondeur ? Pédagogie Collégiale, 5, 6-11.

Cite this article as: Stéphane Vautier, "43a. Testabilité des descriptions générales : exemples en psychologie", in Épistémologie de la psychologie, 06/01/2017, https://epistemo.hypotheses.org/4160.

  1. On n’a pas besoin de définir précisément le terme “psychologie”, il suffit que quelque chose qui a à voir avec la psychologie caractérise le groupe. []
  2. Y a-t-il quelqu’un pour soutenir qu’elle soit fausse ? []

37a. Quand ‘l’influence’ d’une variable ‘indépendante’ implique H0

Dans les domaines où la statistique inférentielle est importante, beaucoup de gens croient avoir corroboré l’hypothèse d’une influence en ayant rejeté l’hypothèse nulle (H0). Cette croyance repose sur l’argument suivant :

si telle ‘variable’ influence telle autre ‘variable’, alors H0 est fausse (et on va pouvoir la rejeter à l’aide d’un test statistique).

Parfois, H0 est entendue comme formulation de l’effet du hasard et, naturellement, si une variable influence une autre variable, on s’attend à ce que la manifestation de cette influence ne soit pas un effet du hasard. Autrement dit (contraposée de l’argument), si H0 est vraie (l’effet statistique est l’effet du hasard) alors la ‘variable indépendante’ n’influence pas la ‘variable dépendante’ — qui n’est donc plus dépendante.

Petite complication : comme l’effet statistique qu’on calcule à partir d’un échantillon est compatible avec H0, on ne peut pas falsifier H0 avec cette valeur empirique1. Autrement dit, impossible de savoir par déduction si H0 est vraie ou fausse. Solution : on convient de ce que H0 est fausse  (on dit qu’on la rejette) quand cette valeur empirique est statistiquement significative, c’est-à-dire quand la variable test prend certaines valeurs extrêmes. En modifiant le sens du mot “test”, on dit alors qu’on a testé H0 (on modifie le sens du mot parce qu’on admet qu’on peut tester une hypothèse qui n’a pas de conséquence falsifiable, autrement dit qui n’est pas testable, si une hypothèse testable est une hypothèse qui a au moins une conséquence falsifiable)2.

Toujours en considérant que l’argument est valide, il est plus difficile de falsifier l’hypothèse théorique d’influence puisqu’il faut avoir admis que H0 est vraie. Résultat pratique : un biais de confirmation institutionnalisé — seules les études qui corroborent l’hypothèse théorique sont publiées — mais il faut mettre un bémol, certaines revues commencent à accepter de publier des résultats statistiquement non significatifs.

Mais l’argument est invalide, pour la raison suivante : la probabilisation qui permet le test statistique probabilise une statistique du phénomène sous une hypothèse nulle qui n’est pas explicitement articulée à un modèle de la structure causale du phénomène (c’est en lisant Sayer, 1992, que j’ai réalisé cela). On peut tester H0 de manière non critique (parce que, par exemple, on a appris à le faire en cours de méthodologie, ou encore, “c’est comme ça qu’on fait en recherche normale” — pour reprendre le terme de Kuhn, 1996). On peut aussi vouloir apprendre quelque chose des données elles-mêmes, ce qui suppose d’avoir une idée précise de ce qu’on appelle influence.

1. Première façon d’invalider l’argument

Pour montrer que l’argument ci-dessus (en bleu) est invalide, il suffit d’exhiber un contre-exemple, c’est-à-dire un cas où l’influence de la VI sur la VD implique H0. On va exhiber un cas où H0 stipule l’égalité de deux probabilités indépendantes, p0 = p1. Supposons un système qui se comporte de deux manières possibles : soit il est dans l’état e soit dans l’état ¬e (lire ‘non-e‘), selon les conditions dans lesquelles il se trouve. Ces conditions, C1 et C2, influencent le système comme récapitulé dans le tableau ci-dessous.

C1 C2 Etat du système
0 0 e
0 1 ¬e
1 0 ¬e
1 1 e

Formellement, l’état du système est une fonction de C1 et C2 — état du système = F(C1, C2), où l’ensemble de départ de F est le produit cartésien des modalités de C1 et des modalités de C2 (vues comme variables, c’est-à-dire que C1 et C2 peuvent varier durant la vie du système), c’est-à-dire l’ensemble {00, 01, 10, 11}, et où l’ensemble d’arrivée de F est {e, ¬e}.

Une illustration de cette situation peut aider à se figurer ce dont il est question. Imaginons une porte qui s’ouvre dans un sens ou dans un autre, selon qu’elle est poussée d’un côté ou de l’autre. Si aucune poussée n’est exercée (C1= 0 et C2 = 0), la porte reste fermée (e). Si une seule poussée est exercée (C1 = 1 et C2 = 0 ou bien C1 = 0 et C2 = 1), la porte s’ouvre (¬e). Si la poussée est exercée de part et d’autre de la porte (C1 = 1 et C2 = 1), la porte reste fermée (les deux poussées s’annulent).

Supposons que le chercheur sache contrôler ou seulement observer C1 mais soit ignore que la condition C2 influence l’état du système (ignorance théorique), soit ne sache contrôler ni observer C2 (ignorance pratique, on ne sait pas “mesurer” C2). Supposons enfin que quand il observe le système, la condition C2 ne dépende pas de la condition C1 : en termes probabilistes, C1 et C2 sont des variables indépendantes ; par exemple, Pr(C1 = 0 et C2 = 0) = Pr(C1 = 0) × Pr(C2 = 0).

Alors la probabilité p0 de e sachant C1 = 0 est la probabilité de C2 = 0, et la probabilité p1 de e sachant C1 = 1 est la probabilité de C2 = 1. Si la probabilité de C2 = 0 vaut 0,5, la probabilité de C2 = 1 vaut aussi 0,5 et alors p0 et p1 sont égales. (Pour une démonstration, voir l’annexe à la fin de ce billet.)

Donc l’influence de C1 sur le système n’implique pas que “H0 : p0 = p1” soit fausse : tout dépend de la relation statistique de C1 et C2. Cette relation statistique n’est pas la structure causale du système : elle décrit la fréquence de réalisation des conditions qui, conjointement, déterminent le fait que le système se trouve dans l’état e ou ¬e.

2. Corrélation n’est pas causalité

Les proportions observées p0 et p1 reflèteront la statistique des états en C1 et C2 étant donné le rôle causal de C1 et C2 sur le système, pas l’influence de C1 sur le système, qui est décrite dans le tableau ci-dessus ou encore dans le contenu de l’expression “état du système = F(C1, C2)”. Si la distribution des états en C2 n’est pas la même sous C1 = 0 et sous C1 = 1, le chercheur pourra trouver une différence significative entre les deux proportions observées (voir la simulation, première feuille de calcul). S’il applique l’argument ci-dessus (en bleu), il conclura que C1 a une influence sur le système mais sa conclusion, quoique juste, sera logiquement invalide parce que fondée sur un argument logiquement invalide.

3. Deuxième façon d’invalider l’argument

Cette conclusion invalide est juste si C1 a une influence, mais C1 pourrait tout aussi bien ne pas avoir d’influence. Supposons maintenant que les lois du système soient telles que représentées ci-dessous.

C1 C2 Etat du système
0 0 e
0 1 ¬e
1 0 e
1 1 ¬e

On voit bien que l’état du système ne dépend pas de C1 mais seulement de C2 — état du système = F(C2). Si on constate une différence statistiquement significative, par exemple p0 < p1  avec un “risque d’erreur de type 1” inférieur à .05, cela signifie seulement que C1 et C2 ne sont pas indépendantes (au sens statistique ou probabiliste du terme) et que C2 était à 0 moins souvent quand C1 était à 0 que quand C1 était à 1 (voir la simulation, deuxième feuille de calcul).

4. Conclusions méthodologiques

On a observé un lien statistique significatif entre une VI et une VD. On n’a pas corroboré que la VI influence la VD parce qu’on n’a pas testé cette influence. On a testé une hypothèse nulle qui permet de définir une variable test et une convention de rejet fondée sur le fait qu’on connaît la loi de probabilité de cette variable test. Rejeter H0, c’est dire “tiens, il y a un phénomène statistique qui devrait se produire rarement si H0 était vraie, on peut le prendre au sérieux pour l’utiliser (il risque d’être robuste) ou pour l’expliquer (il y a un mécanisme causal qui se cache derrière l’effet)”.

Cependant, du point de vue des connaissances empiriques, mieux vaut quelques réplications brutes d’inférence statistique qu’un seul échantillonnage (ou sondage) assorti d’une analyse de signification statistique, qui, aussi brillante soit-elle du point de vue mathématique, probabiliste, statistique, non seulement ignore complètement la notion de causalité mais encore ne dit rien sur la robustesse (ou réplicabilité) du phénomène statistique.

Si on espère apprendre quelque chose des conditions déterminantes de l’état du système au cours de sa vie, ce test de signification et les calculs afférant d’intervalles de confiance relèvent plus d’un ritualisme scientiste que de la méthodologie proprement scientifique (i.e., d’une démarche critique rationnelle). Il vaudrait mieux consacrer son temps et son énergie à imaginer les causes possibles du phénomène, à imaginer comment les tester et à les tester (voir aussi Hanson, 1971).

Il y a plus : lorsqu’on dispose d’une hypothèse causale qu’on estime complète (i.e., on estime avoir fait la liste de toutes les conditions pertinentes), le test de cette hypothèse ne nécessite aucun test statistique d’une hypothèse nulle. Il suffit de savoir quels sont les contre-exemples (falsificateurs) de l’hypothèse et d’observer le système dans chacune des conditions pertinentes pour essayer de prendre la théorie en flagrant délit d’erreur.

Le travail expérimental consiste à réaliser ces conditions plutôt qu’à attendre qu’elles soient réalisées (ce qui bien entendu n’est pas nécessairement possible selon ce que sont le système et ses conditions pertinentes dans la recherche concrète ; voir aussi Popper, 1992). Si on trouve des contre-exemples et qu’on reconnaît leur existence, le problème consiste à imaginer ce qui les rend possibles et ce qui les rendrait impossibles (élaboration de la théorie et/ou du protocole expérimental).

Références

Kuhn, T. S. (1996). The structure of scientific revolutions (3d ed.). Chicago: The University of Chicago Press.

Sayer, A. (1992). Method in social science: A realist approach (2d ed). London: Routledge.

Annexe : démonstration

L’espace probabilisé auquel on s’intéresse est associée à la vie du système. Chaque instant de la vie du système est un point de Ω = [ti, tf], où ti et tf représentent la date de naissance et la date de mort du système, respectivement. A chaque instant de la vie du système est associé un et un seul état du système, élément de l’ensemble des états élémentaires

{00e, 00¬e, 01e, 01¬e, 10e, 10¬e, 11e, 11¬e}.

On admet qu’il existe une mesure (ou loi) de probabilité des états du système. Du fait de la structure causale du système, on sait que  Pr(00¬e) = Pr(11¬e) = Pr(01e) = Pr(10e) = 0 (i.e., les événements 00¬e, 11¬e, 01e et 10e sont impossibles).

Notons p0 = Pr(e|C1 = 0) et p1 = p(e|C1 = 1). On veut montrer que si C1 et C2 sont des variables indépendantes et si Pr(C2 = 0) = Pr(C2 = 1), alors p0 = p1.

p0 = Pr(e|C1 = 0) = Pr(e et C1 = 0)/p(C1 = 0) — définition d’une probabilité conditionnelle : Pr(A|B) = Pr(A et B)/Pr(B).

L’événement “e et C1 = 0″ est l’événement “00e ou 01e“. Or 00e et 01e sont incompatibles. D’où

Pr(e et C1 = 0) = Pr(00e) + Pr(01e) et

p0 = [Pr(00e) + Pr(01e)]/Pr(C1 = 0).

L’événement 01e est causalement impossible. D’où

p0 = Pr(00e)/Pr(C1 = 0).

p00e = Pr(00) car Pr(00) = Pr(00e ou 00¬e) = Pr(00e) + Pr(00¬e) et Pr(00¬e) = 0, donc

p0 = Pr(00)/Pr(C1 = 0)..

C1 et C2 sont indépendantes donc Pr(00) = Pr(C1 = 0) × Pr(C2 = 0). D’où

p0 = Pr(C1 = 0) × Pr(C2 = 0)/Pr(C1 = 0) = Pr(C2 = 0).

De même,

p1 = Pr(e|C1 = 1) = Pr(e et C1 = 1)/Pr(C1 = 1).

L’événement “e et C1 = 1″ est l’événement “10e ou 11e“. D’où

p1 = [Pr(10e) + Pr(11e)]/Pr(C1 = 1).

L’événement 11¬e est causalement impossible. D’où

p1 = Pr(11e)/Pr(C1 = 1).

p11e = Pr(11). Comme C1 et C2 sont indépendantes,

p1 = Pr(C1 = 1) × Pr(C2 = 1)/Pr(C1 = 1) = Pr(C2 = 1).

Si Pr(C2 = 0) = Pr(C2 = 1), alors p0 = p1 (cqfd — ce qu’il fallait démontrer).

 

Cite this article as: Stéphane Vautier, "37a. Quand ‘l’influence’ d’une variable ‘indépendante’ implique H0", in Épistémologie de la psychologie, 09/10/2015, https://epistemo.hypotheses.org/3106.

  1. On peut soutenir que H0 est vraie par définition du point de vue mathématique, invraisemblable du point de vue empirique — voir ici. []
  2. Popper (1978/2012) prévient le purisme hypothético-déductif ici. []

25a. Formes de lois scientifiques

Cet article a pour prérequis l’article 24a ; il détaille l’explication d’un phénomène p par une condition a (cf. 4a et 14a) en distinguant les lois intra- ou inter-individuelles de type complètement déterministe, partiellement déterministe, complètement indéterministe.

1. Population et variables

Le phénomène p et la condition a décrivent l’état d’unités d’observation de la forme (u, t). On peut considérer que les états a et p sont “simultanés”, c’est-à-dire que XY(u, t) = (a, p), ou bien successifs, c’est-à-dire que X(u, t1) = a puis Y(u, t2) = p (avec tout instant ti de l’intervalle de temps t1 strictement inférieur à tout instant tj de l’intervalle t2). Pour alléger les écritures, nous considérons des lois “simultanées”.

2. Loi complètement déterministe

Soit XY : Ω → M(XY) = M(X) × M(Y) une variable descriptive discrète. Une loi complètement déterministe sur le référentiel d’observation [Ω, M(XY)] est le couple (αβ) tel que :

  • α est un sous-ensemble non-vide de M(X),
  • β est un point de M(Y),
  • quel que soit (u, t), si X(u, t) ∈ α, alors Y(u, t) = β,
  • ce qui équivaut à Pr[Y(u, t) = β|X(u, t) ∈ α] = 1 ou encore à Pr[Y(u, t) ≠ β|X(u, t) ∈ α] = 0.

β joue le rôle du phénomène à expliquer et α celui de sa condition suffisante. L’existence d’un (u, t) tel que XY(u, t) se trouve dans l’ensemble α × ¬β est un falsificateur de la loi. L’ensemble α × ¬β est l’ensemble de tous les états conjoints α (du point de vue de M(X)) et ¬β (du point de vue de M(Y)).

Lois intra-individuelles, lois inter-individuelles.

La loi (XY, αβ) est une loi intra-individuelle si la variable XY est définie sur une population d’unités d’observations de type (u, ti), c’est-à-dire qu’on s’intéresse à l’état de l’entité/personne u à des moments différents t1, t2, etc. Quand on écrit “quel que soit (u, t)”, seul t varie.

La loi (XY, αβ) est une loi inter-individuelle si la variable XY est définie sur une population d’unités d’observations de type (u, tu, i), où on fait varier aussi bien les entités u que les moments tu, i où on les décrit. En d’autres termes, la population Ω la réunion des populations Ωu, Ωv, Ωw, etc., où u, v, w, etc. sont les entités possibles.

3. Loi partiellement déterministe

Une loi partiellement déterministe sur [Ω, M(XY)] est le couple (αβ) tel que :

  • α est un sous-ensemble non-vide de M(X),
  • β est un sous-ensemble strict d’au moins deux points de M(Y),
  • quel que soit (u, t), si X(u, t) ∈ α, alors Y(u, t) ∈ β,
  • ce qui équivaut à Pr[Y(u, t) ∈ β|X(u, t) ∈ α] = 1 ou encore à Pr[Y(u, t) ∉ β|X(u, t) ∈ α] = 0.

β joue le rôle d’une description en “ou… ou” du phénomène et α celui de sa condition suffisante. Connaissant X(u, t) ∈ α, on ne peut prédire la valeur exacte de (u, t) par Y (indétermination partielle) ; mais on peut exclure les valeurs de l’ensemble ¬β, complémentaire à β (détermination partielle).

Comme dans le cas d’une loi complètement déterministe, l’existence d’un (u, t) tel que XY(u, t) se trouve dans l’ensemble α × ¬β est un falsificateur de la loi.

4. Lois complètement indéterministes

Les lois complètement indéterministes n’excluent aucun état possible dans M(Y) conditionnellement à l’état explicatif α. Il n’est plus possible d’utiliser la notion de condition suffisante d’un phénomène. En effet, pour tout (u, t), si la condition α est réalisée, l’état β est réalisé ou n’est pas réalisé. Autrement dit, la loi ne dénie rien (cf. Popper, 1973), elle n’a pas de falsificateur (et n’est donc pas falsifiable). La connaissance apportée par α porte sur une nouvelle notion, la probabilité que l’état β se réalise en (u, t) lorsque α se réalise en (u, t).

Attention ! Si on remplace la phrase qui précède par “la probabilité que l’état β se réalise lorsque α se réalise“, on perd de vue le support ontologique des phénomènes. Considérons l’état conjoint dans M(XY) des unités d’observation (u, tu, 1), (u, tu, 2) et (v, tv, 1). À priori, la probabilité que l’état β se réalise en (u, tu, 1) lorsque α se réalise en (u, tu, 1) n’est pas nécessairement égale à la probabilité que l’état β se réalise en (u, tu, 2) lorsque α se réalise en (u, tu, 2) ; de même, il n’est pas évident que ces deux probabilités soient égales à la probabilité que l’état β se réalise en (v, tv, 1) lorsque α se réalise en (v, tv, 1). On va voir qu’il est possible de soutenir la nécessité théorique de l’égalité de ces probabilités.

Une loi complètement indéterministe sur [Ω, M(XY)] est le triplet (αβ, π) tel que

  • α est un sous-ensemble non-vide de M(X),
  • β est un point de M(Y),
  • quel que soit (u, t), il existe un unique π ∈ ]0, 1[ tel que Pr[Y(u, t) = β|X(u, t) ∈ α] = π.

Dans le cas d’une loi intra-individuelle, la loi binomiale teste l’hypothèse nulle “quel que soit t, Pr[Y(u, t) = β|X(u, t) ∈ α] = π“. Autrement dit, si u existe dans l’ensemble des moments d’observation {t0, t1, …, tn}, rejeter l’hypothèse nulle consiste à rejeter la proposition

Pr[Y(u, t0) = β|X(u, t0) ∈ α] = π

et

Pr[Y(u, t1) = β|X(u, t1) ∈ α] = π

et … et

Pr[Y(u, tn) = β|X(u, tn) ∈ α] = π.

Il suffit qu’il existe un moment ti tel que Pr[Y(u, ti) = β|X(u, ti) ∈ α] ≠ π pour que l’hypothèse nulle soit fausse. D’un point de vue théorique, si on suppose que la probabilité qu’une entité donnée soit dans l’état β dépend du fait qu’elle soit dans l’état α, on sous-entend que le temps ne détermine pas cette probabilité — seulement l’état α. Ceci permet d’exclure la possibilité que la probabilité dépende d’autre chose que de l’état de l’entité du point de vue de M(Y). Le problème théorique consiste à déterminer les prémisses qui permettent de déduire la valeur π.

Supposons le problème théorique réglé — s’il n’est pas réglé, il n’y a pas d’hypothèse théorique à tester. Le problème pratique consiste à déterminer une fréquence contre laquelle tester l’hypothèse. Il s’agit d’effectuer un relevé d’observations en différents moments t1, t2, …, tm. À tout moment, on observe si u se trouve dans l’état α ou bien dans l’état ¬α et dans l’état β ou ¬β. Parmi les occurrences où u se trouve dans l’état α, on compte le nombre de fois où β est réalisé, ce qui permet de calculer (et non pas mesurer) la fréquence Fq(β|α).

Un tel relevé d’observations suppose que l’existence de l’entité u ne dépende pas de l’état dans lequel elle se trouve du point de vue de M(XY). Si on s’intéresse par exemple à l’état β “tentative de suicide”, si une tentative de suicide entraîne la mort de l’entité, il n’est plus possible d’acquérir l’information empirique nécessaire pour tester l’hypothèse nulle.

Il faut maintenant aborder le problème du passage d’une loi intra-individuelle à une loi inter-individuelle. Considérons les entités u et v et les lois intra-individuelles

“quel que soit tu, i, Pr[Y(u, tu, i) = β|X(u, tu, i) ∈ α] = πu

et “quel que soit tv, j, Pr[Y(v, tv, j) = β|X(v, tv, j) ∈ α] = πv“.

La question est de savoir si πu = πv. Si on admet que les probabilités sont distinctes, de quoi dépend cette différence ? Lorsqu’on écrit qu’un état β dépend d’un état α, on écrit que ce qui différencie les entités hors du champ sémantique de M(XY) n’est pas pertinent pour expliquer la probabilité de l’état β, c’est-à-dire que les états qu’on néglige de prendre en compte en ne les décrivant pas ne déterminent pas la probabilité de l’état β (cf. Popper, 1992).

Si on dispose d’une théorie qui permet de calculer (c’est-à-dire de déduire) la probabilité π pour toute entité, il n’est pas nécessaire qu’une entité particulière soit réutilisable une fois qu’on l’a observée. L’hypothèse peut être testée sur la base de l’agrégation d’un grand nombre d’entités.

Si on ne dispose d’aucune théorie de laquelle déduire la valeur de la probabilité, que ce soit πu ou πv, la discussion risque de nous entraîner vers des querelles dont le règlement ne peut pas être scientifique. Si on sait déduire la valeur d’une probabilité et si on sait tester cette valeur contre l’évidence accumulée (une fréquence), on peut discuter sur une base empirique : si on n’arrive pas, malgré des efforts convaincants, à réfuter la déduction, on peut bien croire en l’existence des probabilités (propensions poppériennes) en même temps qu’on défend la théorie qui permet leur calcul (et non pas leur mesurage), et on pourra discuter la question de l’égalité des deux probabilités sur une base scientifique (théorique et empirique). Sinon, soit on décide de croire (foi) soit on décide de ne pas croire (athéisme) en l’existence de cette valeur. L’utilisation de développements statistiques qui ne s’adossent à aucune théorie permettant de déduire ne serait-ce qu’une valeur de probabilité constituent une forme mathématisée de pensée religieuse, où cette pensée se substitue à la pensée théorique. L’opacité que constitue la technicité mathématique pour le non-mathématicien masque le statut religieux de l’emploi de la notion de probabilité (cf.  Allouche, 26a).

5. Autres remarques sur la testabilité

Une loi complètement ou partiellement déterministe (αβ) définie sur un référentiel d’observation [Ω, M(XY)] est testable parce qu’elle implique la possibilité logique d’une unité d’observation (u0, t0) telle que XY(u0, t0) ∈ α × ¬β. La loi peut être falsifiée par une seule observation mais sa corroboration doit être effectuée entité par entité plutôt qu’en échantillonnant un agrégat d’entités : la méthodologie de recueil des données dépend de l’objectif de falsification ou de corroboration qu’on se donne.

Un exemple de loi complètement déterministe est un processus de mesurage défini sur une population Ω0 construite à partir d’une personne u0. Le référentiel d’observation est [Ω0, [0, max] × M(X)]. Quelques soient t1 et t2 tels que t1 ∩ t2 = Ø, si Q(u0, t1) ≥ (resp. ≤) Q(u0, t2), alors X(u0, t1) ≥ (resp. ≤) X(u0, t2) (voir 11a). Bien que la condition “Q(u0, t1) ≥ (resp. ≤) Q(u0, t2)” ne soit pas observable, la loi est testable car X(u0, t1) et X(u0, t2) peuvent logiquement être incomparables, fait théoriquement impossible.

Une loi complètement indéterministe (αβ) définie sur un [Ω, M(XY)] suppose que l’état de tout u en Y soit intrinsèquement indéterminé à tout moment t. Ce n’est pas vrai par exemple lorsqu’on considère l’état infecté ou non d’une personne à tel moment : la probabilité qu’elle soit infectée vaut 0 ou 1 (voir aussi l’exemple sur le climat et les remarques de Harré et Venn). Le test d’une loi complètement indéterministe nécessite une politique (convention) pour définir un critère de rejet de la loi. Mais attention, absence de rejet ne signifie pas corroboration : la corroboration suppose la non-falsification et, comme une loi complètement indéterministe n’est pas falsifiable par définition (une probabilité nulle est théoriquement exclue), elle ne peut pas être non-falsifiée, condition nécessaire à la corroboration.

Dans le domaine de la modélisation psychométrique de la réponse à l’item, la condition α est définie en référence à un espace latent, ce qui a pour conséquence qu’il est impossible de déterminer des fréquences conditionnelles.

22a. La probabilité de réussir l’item

Les modèles psychométriques de réponse à l’item reposent sur la notion de probabilité de réussir un item. Cet article explore cette notion dans une perspective épistémologique plutôt que psychométrique (c’est-à-dire statistique). Adopter une perspective épistémologique consiste ici à se demander (i) comment on fait pour savoir quelque chose à partir de la notion de probabilité et (ii) si ce savoir est falsifiable. La conclusion de l’article est qu’un modèle de réponse à l’item (MRI) ne fournit pas un savoir falsifiable sur les différences quantitatives invoquées par le modèle. Si les réponses aux items étaient des mesures (ordinales), les modèles probabilistes de réponse à l’item seraient superflus. Et si on est au clair avec le fait que ces modèles ne sont pas des modèles de mesurage, leur utilité demeure ambigüe et doit être précisée (Vautier, Veldhuis, Lacot, & Matton, 2012). Je remercie par avance chaleureusement tous les commentateurs férus de psychométrie, statistique ou autres probabilités qui voudraient bien me critiquer.

1. La vérité de la proposition « la probabilité que Paul réussisse cet item à ce moment vaut 0,8 »

Comment fait-on pour savoir si cette proposition est vraie ou fausse ? Prenons n’importe quelle valeur p dans ]0, 1[, la phrase « la probabilité que Paul réussisse cet item à ce moment vaut p » est infalsifiable parce qu’elle implique “Paul va échouer ou réussir”, ce qui est une tautologie. Donc la réponse à la question est : je ne sais pas (cf. Vautier, 2012).

Si on donne les valeurs 0 ou 1 à p, alors au moins une des deux phrases est fausse. Si Paul réussit alors que p = 0 la phrase est fausse ; idem si Paul échoue alors que p = 1.

Pas si simple ? Essayons encore et considérons la phrase « la probabilité que Paul réussisse cet item à ce moment vaut 10-20 ». Minuscule probabilité, qui indique que la possibilité de réussite est infime et qu’on peut, comme dirait un ami dont l’érudition psychométrique est immense, raisonnablement croire que Paul va échouer. En d’autres termes, on serait très surpris que Paul réussisse. Et donc on ne parierait pas sur la réussite de Paul si on fait confiance à celui qui indique une telle probabilité. Dans cette histoire, il s’agit de la confiance qu’on a dans celui qui énonce la probabilité.

Remontons à la prémisse. Comment fait-on pour savoir la valeur de la probabilité ? Par déduction mais alors à partir de quelles prémisses ? Au secours Valéry ! Par la connaissance empirique pertinente ? On ne peut que connaître des fréquences, ce qu’il faut développer.

2. Pile ou face et la loi binomiale : ça « marchotte »

« La probabilité que la pièce de monnaie qui se trouve devant moi tombe sur pile quand je vais la lancer vaut 0,1 ». On ne dispose d’aucune connaissance empirique puisque le lancer n’a pas eu lieu, ni de connaissance physique sur le centre de gravité de la pièce. Autrement dit, on dit qu’on ne sait pas et le surplus de sens est une information non pas sur la pièce de monnaie mais sur l’intention de celui qui parle (du registre « je ne parierais pas sur pile, faites comme moi »).

On peut adopter un point de vue empiriste, en faisant appel à une classe de référence, ou encore, c’est la même chose, une population statistique, c’est-à-dire un ensemble de lancers différents de la même pièce de monnaie, dont on postule qu’ils sont régis par la même probabilité. Supposons que la pièce ait été lancée n = 40 fois et qu’on connaisse k = le nombre de fois où elle est tombée sur pile. On peut utiliser les données pour estimer ou pour tester la valeur de la probabilité.

Commençons par le test statistique. Si le nombre k de piles est grand, on sera enclin à douter de la valeur de cette probabilité, puisque pile est par hypothèse très peu probable (p = 0,1). Mais il faut bien voir que ce sentiment de doute ou d’étonnement est logiquement invalide. La probabilité p = 0,1 n’exclut aucun résultat : on peut observer 0 pile, 1 pile, 2 piles, etc. jusqu’à 40 piles dans la série des 40 lancers. La loi binomiale B(40 ; 0,1) indique que la probabilité d’observer 40 fois pile par exemple vaut 10-40, ce qui est très petit mais pas nul.

Voici donc la pragmatique du test de l’hypothèse nulle en statistique : on se donne un risque d’erreur de type 1 (i.e., rejeter l’hypothèse alors qu’elle est vraie) de 0,05 par exemple, ce qui correspond à au moins 7 piles. Si la série exhibe au moins 7 piles, on rejettera l’hypothèse p = 0,1. Attention encore : dans cette approche, le rejet n’est pas une falsification parce que l’hypothèse p = 0,1 est infalsifiable : ses conséquences sur une série de 40 lancers n’excluent aucun événement logiquement possible.

Récapitulons. On ne peut pas tester statistiquement la phrase « la probabilité que la pièce de monnaie que je regarde tombe sur pile quand je vais la lancer vaut 0,1 » parce que la classe de référence de cette probabilité contient zéro élément avant le lancer, un seul élément une fois qu’on a le résultat du lancer. On peut utiliser le chiffre 0,1 comme un indice (et pas une mesure) de la confiance qu’on peut avoir dans la divination “la pièce va tomber sur face”, mais, comme pour les promesses en politique, croire en la divination n’engage que ceux qui croient. Les statisticiens savent que les probabilités n’ont de sens que lorsqu’on se réfère à une classe de référence définie par un très grand nombre d’expériences aléatoires, par opposition à une expérience unique (déjà advenue ou qui va advenir).

Si on se donne une classe de référence dont le cardinal (la taille) est n, on peut tester statistiquement la probabilité à partir du comptage des événements pertinents dans la série de n essais, en se donnant une politique de rejet de l’hypothèse qui est logiquement invalide puisque tout nombre de “succès”, de 0 à n, est compatible avec l’hypothèse. Ainsi, si les divinations “face” réussissent trop peu souvent, on a un moyen conventionnel de rejeter l’expertise de celui qui fournit la probabilité — ce qui a peu d’incidence pratique parce que dans la vie concrète où on appréhende les réponses à l’item de quelqu’un, l’expert en probabilités n’est pas là — il est expert d’un grand nombre d’expériences aléatoires qui définissent une classe de référence de très grande taille — ; en tant que statisticiens spécialisés en psychologie, les psychométriciens sont assez malins pour ne pas se risquer dans des situations d’utilisation individuelles (voir la remarque de G. Rasch) : ils laissent les utilisateurs de modèles de scorage… utiliser les scores.

Il reste l’autre approche, où on veut estimer la probabilité p à partir de la loi binomiale B(40, p) et de k. On se réfère à la probabilité Cnkpk(1 – p)nk de k “succès” dans une série de n essais (voir sur Internet tout article sur la loi binomiale pour les détails de la formule) et on cherche la valeur p qui maximise cette probabilité. Mais il y a un problème : si on se donne les moyens d’observer un nouveau k, disons un k’, on peut trouver une autre valeur et donc une autre estimation de p par maximisation de Cnk’pk’(1 – p)nk’. On est alors conduit à encadrer p par l’accumulation d’observations, au lieu de déterminer sa valeur exacte à partir d’un seul k. La question est de savoir si cet encadrement peut être plus précis que ]0, 1[.

Raisonnons par l’absurde. Si on pouvait réduire l’approximation, on exclurait certains intervalles de valeurs bornés à gauche par 0 ou bornés à droite par 1 ; or la valeur de la probabilité p qui maximise Cnkpk(1 – p)nk pour k = 0 est p = 0 et la valeur de la probabilité p qui maximise Cnkpk(1 – p)nk pour k = n est p = 1. Comme toute probabilité dans ]0, 1[ est compatible avec k = 0 et k = n, on ne peut exclure que l’estimation donne les probabilités 0 ou 1. Comme la possibilité d’un contre-exemple exclut ces valeurs extrêmes, il reste que la probabilité qu’on maximise varie dans ]0, 1[. Par conséquent, on ne sait pas estimer la probabilité p avec une précision plus fine que ]0, 1[ pour des raisons purement logiques (voir aussi la section 3 de l’article 16a). Quelqu’un pourrait-il offrir une objection à cet argument ?

Quoiqu’il en soit, l’estimation d’une probabilité par maximisation de la vraisemblance nécessite qu’on dispose d’une classe de référence de grande taille et on bute sur une seconde objection sérieuse.

3. Réussir ou échouer l’item et la loi binomiale : ça ne marche pas

Revenons à la réalité de la psychologie scientifique : quelle est la classe de référence dont on dispose quand on parle de la probabilité que Paul réussisse cet item à ce moment ? C’est l’ensemble vide tant que Paul n’a pas traité l’item, un singleton quand il l’a traité. Si on imagine qu’on demande à Paul de traiter l’item 40 fois pour utiliser la fréquence des réussites comme mesure totalement imprécise de sa probabilité de réussir cet item à n’importe quel moment, on se rend compte d’une impossibilité théorique rédhibitoire : comment soutenir que la probabilité que Paul réussite l’item au premier essai soit la même que la probabilité qu’il réussisse le même item au nième essai ? Paul apprend — i.e., il change avec l’expérience. Cet argument me semble suffisant pour conclure qu’en psychologie de la réponse à l’item, on ne peut pas utiliser la notion de classe de référence (ou, ce qui est équivalent, de schéma de Bernouilli d’ordre n) comme fondement empirique de théorisation probabiliste de la réponse de quiconque à un item quelconque.

4. La tentative psychométrique

La discussion qui précède intéresse peu les psychométriciens parce qu’ils s’intéressent essentiellement à résoudre le problème de l’assignation d’un nombre à un m-uplet de réponses (cf. l’article 10a). La notion de probabilité n’a pas de rôle théorique, mais un rôle instrumental ou encore calculatoire. Mais ce rôle a une fonction méta-théorique : on score, donc on garantit l’évaluabilité (cf. les articles 10a, 13a, et aussi 19a).

L’idée essentielle d’un modèle de réponse à l’item, consiste à remplacer la fonction de mesurage, qui modélise la réponse à l’item avec les probabilités 0 ou 1, par une fonction psychométrique, qui modélise la probabilité de la réponse à l’item, celle-ci devant nécessairement se trouver dans ]0, 1[. Pour donner une idée précise de ce qui est en jeu, je vais me référer au modèle de Rasch et m’appuyer sur la Rasch Estimation Demonstration Spreadsheet de Mark H. Moulton. Le propos n’étant pas technique mais épistémologique, je n’entraînerai pas le lecteur dans les méandres des calculs mais plutôt dans l’analyse de la signification scientifique des résultats. Il s’agit de comprendre que la probabilisation permet de trouver des valeurs numériques par tâtonnements successifs de telle manière que ces valeurs fournissent nécessairement, on dit aussi convergent vers, la meilleure solution possible. La question est : comment définir le meilleur ? La meilleure solution est celle qui minimise une quantité qu’on appelle résiduelle. La beauté de l’art de l’estimation statistique tient à l’existence de propriétés mathématiques comme l’unicité de la solution qui minimise le résidu. Cette unicité constitue un critère d’acceptabilité sociale du meilleur scorage puisque scorer on veut.

Le point de départ de la démarche d’estimation est une liste de m-uplets dont Moulton donne un exemple. On constate que les 10-uplets ne sont pas simplement ordonnés, ce qui, répétons-le, signifie qu’il n’existe pas de fonction de mesurage (cf. l’article 11a et aussi l’article 13a). Mais on veut quand même donner une valeur numérique aux seuils des items et aux personnes qui ont fourni les 10-uplets, en admettant des irrégularités ordinales aléatoires. Le facteur aléatoire est modélisé par la formule

Pr(Xsi = 1) = exp(βsδi)/[1 + exp(βsδi)],

Xsi est une variable aléatoire binaire dont la classe de référence est la population virtuelle des essais du sujet s à l’item i, βs est la valeur qu’on veut attribuer à s et δi est le seuil de i (dans l’ensemble des réels et non pas dans [0, max]). Cette formule est équivalente au logit

ln[Pr(Xsi = 1)/(1 – Pr(Xsi = 1)] = βsδi,

qui définit l’écart entre la valeur de s et le seuil de l’item.

Ce cadre théorique est le même que le cadre théorique du mesurage, à la nuance près que le domaine de la quantité à estimer/mesurer est étendu à l’ensemble des nombres réels. Mais, contrairement à la démarche scientifique qui prend le risque d’affirmer la non-mesurabilité de la grandeur par les m-uplets si la théorie est fausse, la démarche psychométrique affirme la mesurabilité en dotant le cadre théorique d’un cadre probabiliste dont la valeur ajoutée est calculatoire, tout en reconnaissant que ce cadre est faux (voir par exemple la remarque d’Embretson et Reise — ce n’est pas rédhibitoire, il suffit que les probabilités soient utiles).

Suivons Moulton. Les 10-uplets permettent le calcul de la proportion de réussite des neuf sujets ainsi que la proportion de réponses incorrectes des 10 items, qui sont exprimées en logits (les logits des items étant ensuite centrés). La clé de la méthode d’estimation présentée par Moulton tient à la définition de la quantité résiduelle de chaque cellule de la table de contingence (9 × 10). Les logits des sujets et les logits centrés des items sont utilisés comme estimations des valeurs βs et δi ce qui permet d’estimer les probabilités de réussite de chaque item par chaque sujet (probabilité qui est équivalente à l’espérance de chaque Xsi). Le résidu est la différence entre la valeur observée (1 pour réussite) et la valeur espérée qu’on vient de calculer.

Remarque. L’espérance de chaque Xsi n’est définie que si les valeurs de la variable sont traitées comme des valeurs numériques. Mais 0 et 1 ne sont que des codes pratiques pour “échec” et “réussite”. La variable Xsi n’est pas une variable aléatoire numérique, c’est au mieux une variable aléatoire qualitative si on accepte l’existence de la loi de probabilité dont on la dote. Elle n’a donc pas d’espérance mathématique.

Il ne reste plus qu’à corriger les logits des sujet et les logits centrés des items de manière à ce que les résidus soient minimisés, et ainsi de suite jusqu’à ce que les corrections deviennent négligeables. Assurément, voici du grand art et on ne peut qu’admirer les algorithmiciens de l’optimisation statistique. Finalement, on dispose de 10 valeurs qui ordonnent les sujets sur une échelle numérique parsemée de neufs “barreaux” dont on connaît aussi les seuils.

Mais la beauté du tableau ne doit pas nous faire oublier ce fait initial : la probabilité qu’un sujet quelconque parmi les 10 sujets réussisse un item quelconque parmi les items qu’on connaît est une valeur dans ]0, 1[. Même si, pour des raisons disons pragmatiques, on accepte la non-falsifiabilité des propositions qu’on peut en tirer, cette probabilité n’est pas testable statistiquement parce que sa classe de référence est un singleton si on connaît la réponse à l’item, un ensemble vide si on l’ignore.

L’estimation psychométrique donne la meilleure valeur possible aux 10-uplets observés, c’est-à-dire les hiérarchise au mieux, avec l’innovation socio-technique qui consiste en ce que seuls les experts de l’algorithme d’optimisation savent définir exactement de quoi on parle quand on parle du meilleur. Le modèle de Rasch, et d’une manière générale les modèles psychométriques de réponse à l’item, sont de savantes méthodes d’agrégation numérique ou encore de hiérarchisation de données partiellement ordonnées, pas des méthodes de mesurage. Leur développement est possible précisément parce que les grandeurs qu’on invoque ne sont pas mesurables.

16a. La théorie classique des tests : un triple désastre scientifique

La théorie classique des tests sous-tend la plupart des travaux de validation des tests psychologiques mais n’explique pas comment tout score mesure une quantité. Elle interprète seulement tout score comme le résultat d’une expérience aléatoire. Cette expérience aléatoire est modélisée par une loi de probabilité qui, à tout score possible au moment où la personne à laquelle on s’intéresse est testée, associe une probabilité. Munir l’ensemble des scores possibles d’une loi de probabilité permet de définir une variable aléatoire numérique caractérisée par une espérance mathématique. Cette espérance mathématique est requalifiée en “score vrai”, si bien qu’en vertu de cette construction mathématique, tout score est doté du score vrai et d’une erreur de mesure, résidu arithmétique qui comble l’écart entre le score et le score vrai.

Si les utilisateurs de scores considèrent que ceux-ci contiennent un score vrai et dès lors qu’ils utilisent une interprétation réaliste naïve de la notion de vérité (le score vrai est le score réel), ils peuvent tout naturellement croire que les scores mesurent le score réel. Mais la théorie classique des tests les empêche de revendiquer la validité logique des interprétations élémentaires qu’ils peuvent faire des scores, à cause de l’absence de restriction de l’erreur de mesure. Par exemple, ce n’est pas parce que Paul  a vu son score d’anxiété diminuer d’hier à aujourd’hui que son score vrai a diminué ni que son anxiété a diminué. Et encore, Paul a un QI plus élevé que Julie, mais cela n’implique pas que le QI vrai de Paul soit supérieur au QI vrai de Julie. Par conséquent, adopter la théorie classique des tests comme cadre statistique pour la validation des tests revient à adopter la norme épistémologique selon laquelle des interprétations logiquement invalides sont acceptables pour une pratique d’utilisation des scores qui revendique la scientificité — on admet dans la communauté des psychologues que les tests sont “scientifiquement validés”.

Du point de vue scientifique, l’emploi de cette théorie est un triple désastre.  Tout d’abord, en remplaçant l’exigence de “validité logique” par celle de “validation sociale”, elle brouille la signification de ce qu’est une conclusion scientifiquement fondée. Pour qu’une conclusion, déduite d’une théorie et de certaines observations, soit scientifiquement fondée, il faut que les observations soient objectives à défaut d’être vraies (qui sait prouver qu’elles sont vraies ?) et que la théorie qui permet de les interpréter soit corroborée, c’est-à-dire testée avec succès (i.e., testée et pas falsifiée).

Ensuite, l’emploi de la théorie classique des tests permet aux psychologues d’ignorer que mesurer une grandeur grâce à l’observation de certains phénomènes suppose (condition nécessaire) que ces phénomènes s’inscrivent dans un ordre simple. La vérité de cette dernière proposition est testable (voir la notion de fonction de mesurage) et elle est invraisemblable (voir la définition).

Enfin, en établissant l’agrégation numérique des faits qualitatifs comme canon de la description objective pour édifier une psychologie quantitative, elle incite les psychologues chercheurs à sous-estimer les enjeux théoriques de toute méthodologie descriptive (voir la discussion du kappa de Cohen ou l’article Anecdotes statistiques inexpliquées par exemple), en institutionnalisant notamment l’ignorance de la différence conceptuelle entre ordre simple et ordre partiel ; laquelle, à ma connaissance, n’est exposée que par un manuel de méthodologie en psychologie — “An introduction to the logic of psychological measurement” de Joel Michell (1990).

Cet article développe les points qui précèdent (1) en précisant le concept de score vrai, (2) en déduisant que la comparaison de deux scores considérés comme mesures relève de la divination, (3) en soulignant que la modélisation probabiliste n’a rien à voir avec la théorisation de fonctions de mesurage, et (4) en concluant que les scores psychotechniques ne devraient pas masquer les m-uplets empiriques sur lesquels ils reposent.

1. Le score vrai

Le concept de score vrai contenu dans un score repose sur deux concepts, à savoir une échelle de scores possibles et une distribution de probabilité qui, à tout score, associe une probabilité. A ma connaissance, la théorie classique des tests, comme toute théorie psychométrique, ne se pose pas la question de savoir si les probabilités existent et comment on pourrait les connaître de manière testable.

Supposons une échelle de k scores xi, i = 1, 2, …, k. La théorie postule la loi de probabilité {pi, i = 1, 2, …, k} (ce qui implique que la somme des probabilités est égale à 1). Elle postule ainsi une variable aléatoire dont l’espérance est, par définition, la somme des scores de l’échelle pondérée par leurs probabilités, soit

score vrai = p1 x1 + p2 x2 + … + pk xk = Σ pi xi.

2. Comparer deux scores, c’est faire de la divination

On voit bien les difficultés insurmontables que pose cette approche pour l’utilisation élémentaire des scores : comment déduire de deux scores quoi que ce soit concernant les scores vrais ? Par exemple, Paul et Julie ont un QI de 120 et 130 points, respectivement. Peut-on en déduire que le QI vrai de Paul est inférieur au QI vrai de Julie ? Comme on ignore les lois de probabilité postulées pour interpréter les deux QI comme le résultat de deux expériences aléatoires, on ignore les deux scores vrais. Le score vu par la théorie classique des tests est au désir du psychologue ce que la boîte de Saint-Exupéry est au désir du Petit Prince : une boîte pour un mouton inaccessible, une coquille statistique pour un nombre inaccessible.1

3. Le score vrai ne mesure rien

L’idéalisation dont procède la postulation de lois de probabilité proliférant dans un espace métaphysique masque le problème fondamental du mesurage. Le mesurage repose sur une métaphysique d’une quantité non pas probable mais théoriquement nécessaire, qui ne coïncide pas avec celle des probabilités qui n’ont de nécessaire que leur existence mathématique.2

La théorie classique des tests brouille le concept de mesurage, puisqu’elle détourne l’attention du processus de mesurage, dont le score devrait être le résultat, en la focalisant sur le score vrai, dont la valeu.r reste néanmoins inaccessible, même par encadrement (i.e., par minoration et majoration).3

4. Les scores sont des événements qualitatifs composés

En tant que théorie statistique, la théorie classique des tests oblitère la signification empirique, expérimentale, ou encore instrumentale des scores. Les scores de tests sont traités comme des données au sens propre du terme. Le psychométricien ne veut rien savoir de leur origine, il les accepte sans réserve, abandonnant au psychologue (non statisticien) la responsabilité de leur fabrication. Une telle division du travail est constitutive d’un jeu de dupes qui s’organise au service de l’impossibilité de rejeter les scores pour inadéquation scientifique.

L’article Scorage vs. mesurage détaille le processus de fabrication des scores à l’aide des notions de fonctions descriptive et de scorage. La première, notée X, associe un m-uplet de réponses à toute unité d’observation ; la seconde, A, associe un score à tout m-uplet. Pas de score sans m-uplet. La division du travail instituée par la théorie classique des tests, par son cantonnement à l’analyse statistique des scores, permet que la communauté entière des utilisateurs de scores puissent ne pas buter sur l’évidence selon laquelle, pour mesurer une grandeur avec des observables, il faut que ces observables soient simplement ordonnés. Or les observables psychotechniques sont des m-uplets.

Comment ordonner simplement des m-uplets ? Par exemple, comment ordonner (0, 0, 1) et (1, 1, 0) ? Ou encore, comment ordonner simplement les points flottant dans un cube ? Dès lors que la démarche descriptive est multivariée, son espace de description n’est pas un ordre simple parce qu’un ordre simple est un espace à une dimension, dans lequel les objets s’échelonnent, se placent à la queue leu leu (avec possibilité d’ex æquo).

Le théoricien classique des tests omet de remarquer que 0 et 0 et 1 n’est pas 0 plus 0 plus 1. Cette omission est théoriquement condamnable, puisque la théorie des probabilités, domaine de compétence psychométrique, repose sur ce qu’Alfred Rényi, dans le premier chapitre de son traité de “Calcul des probabilités” (1966), appelle une algèbre d’événements. Le “et” logique y est défini comme un produit et non pas comme une addition, cette dernière correspondant au “ou” logique.  Le triplet (0, 0, 1) — plus généralement, un m-uplet — n’est pas une somme mais un produit logique. C’est un événement composé, une co-occurrence, ou encore une conjonction logique — du point de vue chronologique, il faut négliger le temps nécessaire à l’obtention des réponses pendant la durée du test. Il est temps que les psychologues, dans leur effort de scientificité, reprennent la main sur l’élaboration théorique de leurs données.

Références

Michell, J. (1990). An introduction to the logic of psychological measurement. Hillsdale, NJ: LEA.

Rényi, A. (1966). Calcul des probabilités. Paris: Dunod.

Cite this article as: Stéphane Vautier, "16a. La théorie classique des tests : un triple désastre scientifique", in Épistémologie de la psychologie, 28/05/2014, https://epistemo.hypotheses.org/1054.

  1. Pour un autre angle d’attaque, voir ici. []
  2. pour un autre angle d’attaque, voir aussi la section 2 de l’article 22. []
  3. Pour un autre angle d’attaque, voir ici. []

8a. Le kappa de Cohen : une solution à un faux problème

Deux juges décrivant séparément la même unité d’observation peuvent produire des descriptions différentes, auquel-cas les juges ne sont pas interchangeables.  Comment les observateurs procèdent-ils pour former leurs descriptions ? Quelles informations ont-ils utilisées ? Comment les ont-ils agrégées ? Ont-ils agrégé des informations différentes ? Ont-ils agrégé les mêmes informations mais selon des modes d’agrégation différents ? Ces questions relèvent d’une théorie de la description.

Le présent billet est une charge contre le conformisme socio-technique en psychologie qui, ici, prend une forme particulière : face au fait que deux observateurs produisent des descriptions différentes du même phénomène, la solution se trouverait dans le kappa de Cohen. Cette statistique est quasiment obligatoire en recherche : si vous rapportez les résultats d’une étude qui utilise des observations dont l’objectivité est douteuse, vous devez exhiber un kappa de Cohen. D’où l’obligation de former les étudiants en psychologie (mais aussi en médecine) à l’utilisation du kappa de Cohen et, lorsque le design “deux juges – un item dichotomique (à deux réponses)” se complique, une surenchère statistico-technique (voir par exemple Falissard, 2008, pp. 91-95) pour montrer qu’on s’ingénie… à résoudre des problèmes qui ne sont pas les bons. Bilan éducatif : on forme de futurs agents socio-techniques, pas des intellectuels, par :

  • l’acculturation des étudiants à la soumission à une autorité dite scientifique — parce qu’ils apprennent finalement qu’il faut appliquer une formule qu’ils ne comprennent pas bien, et pour cause tant sa démarche intellectuelle est sinueuse,
  • le gaspillage de l’intelligence des étudiants — parce qu’ils seraient capables de discuter les problèmes de description que posent les désaccords observés au lieu de se perdre dans les calculs.

1. Cas d’école

Falissard (2008, p. 88) propose l’exemple numérique suivant, que je vais adapter à ma guise :

kappa

Les codes 0 et 1 sont deux valeurs descriptives (ou encore deux réponses possibles). Les deux cliniciens ont décrit 19 cas, dont la répartition est indiquée dans ce qu’on appelle une table de contingence. Les nombres 7, 1, 2 et 9 sont des effectifs conjoints.

On constate trois différences de description : un cas est décrit 1 par le Clinicien 2 et 0 par le Clinicien 1, deux cas sont décrits 0 par le Clinicien 2 et 1 par le Clinicien 1. Soit une proportion de 3/19 = 16 % de désaccords. Conclusion : ces trois cas ne sont pas des unités d’observation exploitables puisque leur description change en fonction du juge. Le problème consiste à éliminer dans le futur les discordances, et on peut s’y atteler en travaillant sur la manière dont les cliniciens choisissent entre 0 et 1.

Dans cette perspective, 1 % de désaccords, c’est embêtant mais c’est mieux que 2 %. Et ainsi de suite jusqu’à ce qu’un consensus se dégage par la pratique collective. Si tous les chercheurs concernés font face à des désaccords de l’ordre de 20 %, on finira par dire que 30 %, ce n’est pas acceptable, mais qu’au-dessous de 20 %, les données seront d’une qualité acceptable — voir la même forme d’argumentation à propos de la falsification du modèle de Guttman.

D’où le faux problème : comment mesurer correctement la qualité, ou encore, la précision des données ? Réponse : avec le kappa de Cohen. Le problème est un faux problème parce que les 38 descriptions sont on ne peut plus précises — puisqu’elles sont faites dans un format de réponse discret (voir 7a). C’est pourquoi le nombre des désaccords observés est connu avec une précision parfaite.

2. Les probabilités à la rescousse

Il se peut que des accords surviennent par hasard et on va corriger le pourcentage d’accords en tenant compte de cette possibilité. Deux remarques. (1) Il ne s’agit pas d’agir sur la manière dont les juges décrivent les unités d’observation, quitte à améliorer le langage de la description, mais sur la manière dont on “mesure” la “qualité” ou la “précision” des données. (2) Pourquoi donc les juges devraient-ils répondre au hasard ? Le hasard consiste dans l’hypothèse (nulle) d’indépendance (stochastique) de deux variables aléatoires. Mais quelle est la pertinence de l’hypothèse nulle ? Les juges ne sont pas des variables aléatoires. Leurs jugements sont expérimentalement indépendants, c’est-à-dire qu’ils ne s’influencent pas mutuellement. Personne ne soutient que les juges fonctionnent comme un couple de variables aléatoires indépendantes.

Qu’importe, il faut modéliser. On va calculer la probabilité d’un événement de concordance comme si les deux juges fonctionnaient comme des variables indépendantes, et soustraire cette probabilité à la probabilité qu’on a calculée sans penser à cette possibilité. Mais, voudrait-on objecter, pas du tout ! Personne ne prétend avoir calculé une probabilité, il s’agit d’une proportion de désaccords, 3/19, pas d’une probabilité. Qu’importe encore, probabilité, proportion, fréquence, c’est pareil… L’étudiant docile n’osera pas remarquer qu’on passe allègrement du comptage empirique des cas de désaccord à la modélisation probabiliste d’événements définis dans un espace probabilisé dont le statut théorique est… vacant, et il ne le pourra pas s’il n’a aucune idée de ce qu’il faut pour définir mathématiquement la probabilité d’un événement.

Les probabilités des cellules de la table de contingence sont calculées en admettant qu’on connaisse les probabilités marginales. On les ignore. On connaît les fréquences marginales calculées en fonction des données. Ainsi, la probabilité des jugements conjoints est, par hypothèse, le produit des probabilités de chaque jugement. Le résultat des calculs est indiqué ci-dessous :

kappa3

On arrive à cette proposition que la probabilité de la concordance des deux juges est égale à 0.199 + 0.305 = 0.504. Très fort ! Ce n’est pas fini. La proportion d’accords est égale à 16/19 = 0.842 (ce qui est mieux que 0.504 mais personne n’en doutait, le contraire eut été surprenant). La formule du kappa est la suivante :

kappa = (0.842 – 0.504)/(1 – 0.504) = 0.681.

Voici donc la proportion d’accords, qui valait presque 85 %, savamment et sévèrement corrigée, puisqu’on arrive à 68 %. A-t-on résolu quelque chose ? Rien, puisque le problème est que la proportion d’accords n’est pas égale à 1. Si la proportion est égale à 1, le kappa ne sert à rien car

(1 – n’importe quoi)/(1 – n’importe quoi) = 1,

avec n’importe quoi non égal à 1.

Cerise sur le gâteau, on n’oubliera pas, en rapportant le kappa de Cohen, d’indiquer son intervalle de confiance à 90 ou 95 %… cela fera meilleure impression dans l’esprit de l’éditeur et des experts qui évalueront le “papier”.

Référence

Falissard, B. (2008). Mesurer la subjectivité en santé : perspective méthodologique et statistique. Paris: Masson.

Cite this article as: Stéphane Vautier, "8a. Le kappa de Cohen : une solution à un faux problème", in Épistémologie de la psychologie, 21/04/2014, https://epistemo.hypotheses.org/715.

4a. Qu’est-ce qu’une explication scientifique ?

Question piège mais je tente une réponse pour l’exposer à la critique.

Expliquer un phénomène de manière scientifique, c’est invoquer la nécessité auquel l’être (ou l’entité) qui est le support (on dit) ontologique de ce phénomène obéit. Une loi scientifique énonce une nécessité métaphysique (ou encore, réputée réelle, supposée ou admise vraie par hypothèse).

Nécessité et impossibilité forment les deux faces du même concept. Si a est nécessaire, non-a est impossible et réciproquement si non-a est nécessaire, a est impossible.

La nécessité de a et l’impossibilité de non-a s’expriment dans le langage des probabilités par P(a) = 1 et P(non-a) = 0.

On n’explique donc pas un phénomène en disant qu’il est “très ou peu probable”1. D’ailleurs on ne sait pas mesurer des probabilités2. Les probabilités en tant qu’objets de la théorie mathématique n’ont d’intérêt scientifique, au sens strict de la recherche de réponses à des “pourquoi ces phénomènes ?” que si elles mettent sur la piste de nécessités (ou lois).

La causalité n’est rien d’autre que l’invocation d’une nécessité. La notion de causalité probabiliste est au pire contradictoire et au mieux mal définie3.

Tant qu’on est incapable d’invoquer une nécessité pour expliquer un phénomène, il faut reconnaître qu’on ne le comprend pas.

Pour finir dans le contexte de la psychologie : la psychologie scientifique contemporaine est une manière de dire des phrases pour cacher que la quasi-totalité des phénomènes psychologiques ne sont pas compris (ou expliqués). D’où l’intérêt de valoriser ce qu’un psychologue est capable de faire : inventorier ce qu’il ne comprend pas, parce qu’alors il peut faire un travail épistémologiquement serein.

Un grand merci à celles ou ceux qui voudront bien me contredire :). Ce noyau d’idées est développé en distinguant l’implication logique et la causalité dans 14a.

  1. ce qui relève en fait du calcul de certitude sous ignorance théorique et pas de l’intelligence dans laquelle on se trouve de ce qui se passe, c’est-à-dire des nécessités à l’oeuvre. []
  2. cf. l’article sur la théorie classique des tests []
  3. parce qu’on confond occurrence singulière et classe d’occurrences. []