Archives par étiquette : hypothèse nulle

Test de H0 : combien mesure le risque d’erreur de type 1 (en statistique) ?

D’abord, le risque d’erreur de type 1 (se tromper en rejetant H0) n’est pas mesuré par “p < .05” parce que “p < .05” ne désigne pas une probabilité mais un intervalle, sous-ensemble de l’ensemble de définition d’une variable-test, dont la probabilité vaut (mesure) 0,05.

Ensuite H0 est vraie par construction — sinon on ne pourrait pas déterminer la ou les valeurs-seuils telles que p < .05. Donc on se trompe nécessairement en rejetant H0.1

D’une manière générale et par construction des règles de la logique, la probabilité qu’une phrase soit fausse quand on la déclare vraie ou vraie quand on la déclare fausse mesure 0 si on se trompe et 1 si on ne se trompe pas.2 Ce qui importe, c’est que, dans le cas de figure, comme H0 est vraie, la probabilité de se tromper en rejetant H0 mesure 1.

Corollaire. La probabilité de se tromper en croyant qu’on sait mesurer empiriquement le risque d’erreur de type 1 vaut 1.

Note. On pourrait objecter que quand on dit que H0 peut être fausse, on ne parle pas de l’objet mathématique H0, mais de ce qui se passe dans le monde auquel on cherche à accéder empiriquement. Dans ce cas, on a oublié, je suppose, de répondre à la question : comment H0 pourrait être une théorie du monde auquel on s’intéresse ? Pour autant que je sache, les statisticiens sont les premiers à admettre que quand on prend leurs modèles probabilistes pour des théories qui décrivent ce qui se passe, ces théories sont fausses (e.g,. Embretson & Reise, 2000). Dans ce cas, le risque de se tromper en rejetant H0 mesure 0.

  1. Du reste, H0 n’a pas de falsificateur dans l’ensemble des valeurs possibles de la variable-test — elle est, du point de vue de ce référentiel, tautologique. [↩]
  2. Et qui sait si on se trompe ? Si celui qui sait existe, je ne le connais pas merci de prendre contact avec moi il sera bien accueilli. [↩]

Définition. Une OPA sem en paradigmatique des sciences

Laisser un commentaire

Une offre publique d’achat est une OPA. L’usage de la métaphore en science étant sujet à caution, pourquoi utiliser cette expression pour décrire ce qui peut se passer dans un paradigme scientifique ? 

Définition subsidiaire 1. Paradigme scientifique — se dit d’un ensemble de discours et de pratiques qui se désignent comme “scientifiques”.

Définition subsidiaire 2. Paradigmatique des sciences — une disciple de la philosophie des sciences qui s’occupe de décrire le mode d’existence des sciences à travers ses discours et ses pratiques.

Une OPA sémantique (abrégé OPA sem) en paradigmatique des sciences consiste dans ce phénomène linguistique : le sens académique, technique, scientifique, etc. d’une expression porte sur un domaine plus restreint que le sens non-contrôlé de cette expression. Autrement dit, quand on parle d’une OPA sem, on énonce dans un langage imagé qu’il s’est passé quelque chose de particulier, une restriction de sens — l’analogie de la métaphore tenant à ce qu’une OPA en économie entraîne une restriction économique, à savoir que certaines possibilités économiques ont disparu.1

Exemple d’OPA sem en psychologie : “hypothesis testing” est une expression qui désigne spécifiquement, exclusivement, le test d’hypothèses nulles définies en statistique. Par conséquent, elle ne désigne plus le test d’hypothèse tel qu’il a été connu dans le domaine de la démarche dite hypothético-déductive en science. Une conséquence probable de cette OPA sem est qu’on ne s’intéresse plus aux travaux qui se donneraient pour objectif de tester des hypothèses scientifiques, notamment psychologiques, sans le recours à la statistique dite inférentielle.2

Deuxième exemple d’OPA sem en psychologie et sciences connexes : en psychologie et sciences connexes, un résultat expérimental est dit scientifique si au moins une hypothèse nulle a été testée. L’effet de l’OPA sem en question est qu’aucun résultat expérimental qui ne s’accompagne d’un test statistique d’hypothèse nulle (“null hypothesis significance testing”) n’est scientifique. Il s’agit d’un contrôle, ou encore d’une censure, qui s’exerce sur la valeur de l’expérience ou encore sur l’expérience valable (qui vaut).

  1. D’après le Trésor de la Langue Française : Procédure consistant, pour une société A (la société initiatrice) désirant prendre ou renforcer son contrôle sur la société B, à proposer publiquement aux actionnaires de la société visée le rachat de leurs titres à un prix supérieur au cours de la bourse, pendant une période limitée, et sous réserve qu’au terme de cette période le nombre de titres demandés par la société initiatrice soit atteint. [↩]
  2. La police académique n’interdit pas de collectionner des exemples d’OPA sémantique dans tel ou tel secteur de la recherche académique. [↩]

37a. Quand ‘l’influence’ d’une variable ‘indépendante’ implique H0

Laisser un commentaire

Dans les domaines où la statistique inférentielle est importante, beaucoup de gens croient avoir corroboré l’hypothèse d’une influence en ayant rejeté l’hypothèse nulle (H0). Cette croyance repose sur l’argument suivant :

si telle ‘variable’ influence telle autre ‘variable’, alors H0 est fausse (et on va pouvoir la rejeter à l’aide d’un test statistique).

Parfois, H0 est entendue comme formulation de l’effet du hasard et, naturellement, si une variable influence une autre variable, on s’attend à ce que la manifestation de cette influence ne soit pas un effet du hasard. Autrement dit (contraposée de l’argument), si H0 est vraie (l’effet statistique est l’effet du hasard) alors la ‘variable indépendante’ n’influence pas la ‘variable dépendante’ — qui n’est donc plus dépendante.

Petite complication : comme l’effet statistique qu’on calcule à partir d’un échantillon est compatible avec H0, on ne peut pas falsifier H0 avec cette valeur empirique1. Autrement dit, impossible de savoir par déduction si H0 est vraie ou fausse. Solution : on convient de ce que H0 est fausse  (on dit qu’on la rejette) quand cette valeur empirique est statistiquement significative, c’est-à-dire quand la variable test prend certaines valeurs extrêmes. En modifiant le sens du mot “test”, on dit alors qu’on a testé H0 (on modifie le sens du mot parce qu’on admet qu’on peut tester une hypothèse qui n’a pas de conséquence falsifiable, autrement dit qui n’est pas testable, si une hypothèse testable est une hypothèse qui a au moins une conséquence falsifiable)2.

Toujours en considérant que l’argument est valide, il est plus difficile de falsifier l’hypothèse théorique d’influence puisqu’il faut avoir admis que H0 est vraie. Résultat pratique : un biais de confirmation institutionnalisé — seules les études qui corroborent l’hypothèse théorique sont publiées — mais il faut mettre un bémol, certaines revues commencent à accepter de publier des résultats statistiquement non significatifs.

Mais l’argument est invalide, pour la raison suivante : la probabilisation qui permet le test statistique probabilise une statistique du phénomène sous une hypothèse nulle qui n’est pas explicitement articulée à un modèle de la structure causale du phénomène (c’est en lisant Sayer, 1992, que j’ai réalisé cela). On peut tester H0 de manière non critique (parce que, par exemple, on a appris à le faire en cours de méthodologie, ou encore, “c’est comme ça qu’on fait en recherche normale” — pour reprendre le terme de Kuhn, 1996). On peut aussi vouloir apprendre quelque chose des données elles-mêmes, ce qui suppose d’avoir une idée précise de ce qu’on appelle influence.

1. Première façon d’invalider l’argument

Pour montrer que l’argument ci-dessus (en bleu) est invalide, il suffit d’exhiber un contre-exemple, c’est-à-dire un cas où l’influence de la VI sur la VD implique H0. On va exhiber un cas où H0 stipule l’égalité de deux probabilités indépendantes, p0 = p1. Supposons un système qui se comporte de deux manières possibles : soit il est dans l’état e soit dans l’état ¬e (lire ‘non-e‘), selon les conditions dans lesquelles il se trouve. Ces conditions, C1 et C2, influencent le système comme récapitulé dans le tableau ci-dessous.

C1 C2 Etat du système
0 0 e
0 1 ¬e
1 0 ¬e
1 1 e

Formellement, l’état du système est une fonction de C1 et C2 — état du système = F(C1, C2), où l’ensemble de départ de F est le produit cartésien des modalités de C1 et des modalités de C2 (vues comme variables, c’est-à-dire que C1 et C2 peuvent varier durant la vie du système), c’est-à-dire l’ensemble {00, 01, 10, 11}, et où l’ensemble d’arrivée de F est {e, ¬e}.

Une illustration de cette situation peut aider à se figurer ce dont il est question. Imaginons une porte qui s’ouvre dans un sens ou dans un autre, selon qu’elle est poussée d’un côté ou de l’autre. Si aucune poussée n’est exercée (C1= 0 et C2 = 0), la porte reste fermée (e). Si une seule poussée est exercée (C1 = 1 et C2 = 0 ou bien C1 = 0 et C2 = 1), la porte s’ouvre (¬e). Si la poussée est exercée de part et d’autre de la porte (C1 = 1 et C2 = 1), la porte reste fermée (les deux poussées s’annulent).

Supposons que le chercheur sache contrôler ou seulement observer C1 mais soit ignore que la condition C2 influence l’état du système (ignorance théorique), soit ne sache contrôler ni observer C2 (ignorance pratique, on ne sait pas “mesurer” C2). Supposons enfin que quand il observe le système, la condition C2 ne dépende pas de la condition C1 : en termes probabilistes, C1 et C2 sont des variables indépendantes ; par exemple, Pr(C1 = 0 et C2 = 0) = Pr(C1 = 0) × Pr(C2 = 0).

Alors la probabilité p0 de e sachant C1 = 0 est la probabilité de C2 = 0, et la probabilité p1 de e sachant C1 = 1 est la probabilité de C2 = 1. Si la probabilité de C2 = 0 vaut 0,5, la probabilité de C2 = 1 vaut aussi 0,5 et alors p0 et p1 sont égales. (Pour une démonstration, voir l’annexe à la fin de ce billet.)

Donc l’influence de C1 sur le système n’implique pas que “H0 : p0 = p1” soit fausse : tout dépend de la relation statistique de C1 et C2. Cette relation statistique n’est pas la structure causale du système : elle décrit la fréquence de réalisation des conditions qui, conjointement, déterminent le fait que le système se trouve dans l’état e ou ¬e.

2. Corrélation n’est pas causalité

Les proportions observées p0 et p1 reflèteront la statistique des états en C1 et C2 étant donné le rôle causal de C1 et C2 sur le système, pas l’influence de C1 sur le système, qui est décrite dans le tableau ci-dessus ou encore dans le contenu de l’expression “état du système = F(C1, C2)”. Si la distribution des états en C2 n’est pas la même sous C1 = 0 et sous C1 = 1, le chercheur pourra trouver une différence significative entre les deux proportions observées (voir la simulation, première feuille de calcul). S’il applique l’argument ci-dessus (en bleu), il conclura que C1 a une influence sur le système mais sa conclusion, quoique juste, sera logiquement invalide parce que fondée sur un argument logiquement invalide.

3. Deuxième façon d’invalider l’argument

Cette conclusion invalide est juste si C1 a une influence, mais C1 pourrait tout aussi bien ne pas avoir d’influence. Supposons maintenant que les lois du système soient telles que représentées ci-dessous.

C1 C2 Etat du système
0 0 e
0 1 ¬e
1 0 e
1 1 ¬e

On voit bien que l’état du système ne dépend pas de C1 mais seulement de C2 — état du système = F(C2). Si on constate une différence statistiquement significative, par exemple p0 < p1  avec un “risque d’erreur de type 1” inférieur à .05, cela signifie seulement que C1 et C2 ne sont pas indépendantes (au sens statistique ou probabiliste du terme) et que C2 était à 0 moins souvent quand C1 était à 0 que quand C1 était à 1 (voir la simulation, deuxième feuille de calcul).

4. Conclusions méthodologiques

On a observé un lien statistique significatif entre une VI et une VD. On n’a pas corroboré que la VI influence la VD parce qu’on n’a pas testé cette influence. On a testé une hypothèse nulle qui permet de définir une variable test et une convention de rejet fondée sur le fait qu’on connaît la loi de probabilité de cette variable test. Rejeter H0, c’est dire “tiens, il y a un phénomène statistique qui devrait se produire rarement si H0 était vraie, on peut le prendre au sérieux pour l’utiliser (il risque d’être robuste) ou pour l’expliquer (il y a un mécanisme causal qui se cache derrière l’effet)”.

Cependant, du point de vue des connaissances empiriques, mieux vaut quelques réplications brutes d’inférence statistique qu’un seul échantillonnage (ou sondage) assorti d’une analyse de signification statistique, qui, aussi brillante soit-elle du point de vue mathématique, probabiliste, statistique, non seulement ignore complètement la notion de causalité mais encore ne dit rien sur la robustesse (ou réplicabilité) du phénomène statistique.

Si on espère apprendre quelque chose des conditions déterminantes de l’état du système au cours de sa vie, ce test de signification et les calculs afférant d’intervalles de confiance relèvent plus d’un ritualisme scientiste que de la méthodologie proprement scientifique (i.e., d’une démarche critique rationnelle). Il vaudrait mieux consacrer son temps et son énergie à imaginer les causes possibles du phénomène, à imaginer comment les tester et à les tester (voir aussi Hanson, 1971).

Il y a plus : lorsqu’on dispose d’une hypothèse causale qu’on estime complète (i.e., on estime avoir fait la liste de toutes les conditions pertinentes), le test de cette hypothèse ne nécessite aucun test statistique d’une hypothèse nulle. Il suffit de savoir quels sont les contre-exemples (falsificateurs) de l’hypothèse et d’observer le système dans chacune des conditions pertinentes pour essayer de prendre la théorie en flagrant délit d’erreur.

Le travail expérimental consiste à réaliser ces conditions plutôt qu’à attendre qu’elles soient réalisées (ce qui bien entendu n’est pas nécessairement possible selon ce que sont le système et ses conditions pertinentes dans la recherche concrète ; voir aussi Popper, 1992). Si on trouve des contre-exemples et qu’on reconnaît leur existence, le problème consiste à imaginer ce qui les rend possibles et ce qui les rendrait impossibles (élaboration de la théorie et/ou du protocole expérimental).

Références

Kuhn, T. S. (1996). The structure of scientific revolutions (3d ed.). Chicago: The University of Chicago Press.

Sayer, A. (1992). Method in social science: A realist approach (2d ed). London: Routledge.

Annexe : démonstration

L’espace probabilisé auquel on s’intéresse est associée à la vie du système. Chaque instant de la vie du système est un point de Ω = [ti, tf], où ti et tf représentent la date de naissance et la date de mort du système, respectivement. A chaque instant de la vie du système est associé un et un seul état du système, élément de l’ensemble des états élémentaires

{00e, 00¬e, 01e, 01¬e, 10e, 10¬e, 11e, 11¬e}.

On admet qu’il existe une mesure (ou loi) de probabilité des états du système. Du fait de la structure causale du système, on sait que  Pr(00¬e) = Pr(11¬e) = Pr(01e) = Pr(10e) = 0 (i.e., les événements 00¬e, 11¬e, 01e et 10e sont impossibles).

Notons p0 = Pr(e|C1 = 0) et p1 = p(e|C1 = 1). On veut montrer que si C1 et C2 sont des variables indépendantes et si Pr(C2 = 0) = Pr(C2 = 1), alors p0 = p1.

p0 = Pr(e|C1 = 0) = Pr(e et C1 = 0)/p(C1 = 0) — définition d’une probabilité conditionnelle : Pr(A|B) = Pr(A et B)/Pr(B).

L’événement “e et C1 = 0″ est l’événement “00e ou 01e“. Or 00e et 01e sont incompatibles. D’où

Pr(e et C1 = 0) = Pr(00e) + Pr(01e) et

p0 = [Pr(00e) + Pr(01e)]/Pr(C1 = 0).

L’événement 01e est causalement impossible. D’où

p0 = Pr(00e)/Pr(C1 = 0).

p00e = Pr(00) car Pr(00) = Pr(00e ou 00¬e) = Pr(00e) + Pr(00¬e) et Pr(00¬e) = 0, donc

p0 = Pr(00)/Pr(C1 = 0)..

C1 et C2 sont indépendantes donc Pr(00) = Pr(C1 = 0) × Pr(C2 = 0). D’où

p0 = Pr(C1 = 0) × Pr(C2 = 0)/Pr(C1 = 0) = Pr(C2 = 0).

De même,

p1 = Pr(e|C1 = 1) = Pr(e et C1 = 1)/Pr(C1 = 1).

L’événement “e et C1 = 1″ est l’événement “10e ou 11e“. D’où

p1 = [Pr(10e) + Pr(11e)]/Pr(C1 = 1).

L’événement 11¬e est causalement impossible. D’où

p1 = Pr(11e)/Pr(C1 = 1).

p11e = Pr(11). Comme C1 et C2 sont indépendantes,

p1 = Pr(C1 = 1) × Pr(C2 = 1)/Pr(C1 = 1) = Pr(C2 = 1).

Si Pr(C2 = 0) = Pr(C2 = 1), alors p0 = p1 (cqfd — ce qu’il fallait démontrer).

 

  1. On peut soutenir que H0 est vraie par définition du point de vue mathématique, invraisemblable du point de vue empirique — voir ici. [↩]
  2. Popper (1978/2012) prévient le purisme hypothético-déductif ici. [↩]

8a. Le kappa de Cohen : une solution à un faux problème

Laisser un commentaire

Deux juges décrivant séparément la même unité d’observation peuvent produire des descriptions différentes, auquel-cas les juges ne sont pas interchangeables.  Comment les observateurs procèdent-ils pour former leurs descriptions ? Quelles informations ont-ils utilisées ? Comment les ont-ils agrégées ? Ont-ils agrégé des informations différentes ? Ont-ils agrégé les mêmes informations mais selon des modes d’agrégation différents ? Ces questions relèvent d’une théorie de la description.

Le présent billet est une charge contre le conformisme socio-technique en psychologie qui, ici, prend une forme particulière : face au fait que deux observateurs produisent des descriptions différentes du même phénomène, la solution se trouverait dans le kappa de Cohen. Cette statistique est quasiment obligatoire en recherche : si vous rapportez les résultats d’une étude qui utilise des observations dont l’objectivité est douteuse, vous devez exhiber un kappa de Cohen. D’où l’obligation de former les étudiants en psychologie (mais aussi en médecine) à l’utilisation du kappa de Cohen et, lorsque le design “deux juges – un item dichotomique (à deux réponses)” se complique, une surenchère statistico-technique (voir par exemple Falissard, 2008, pp. 91-95) pour montrer qu’on s’ingénie… à résoudre des problèmes qui ne sont pas les bons. Bilan éducatif : on forme de futurs agents socio-techniques, pas des intellectuels, par :

  • l’acculturation des étudiants à la soumission à une autorité dite scientifique — parce qu’ils apprennent finalement qu’il faut appliquer une formule qu’ils ne comprennent pas bien, et pour cause tant sa démarche intellectuelle est sinueuse,
  • le gaspillage de l’intelligence des étudiants — parce qu’ils seraient capables de discuter les problèmes de description que posent les désaccords observés au lieu de se perdre dans les calculs.

1. Cas d’école

Falissard (2008, p. 88) propose l’exemple numérique suivant, que je vais adapter à ma guise :

kappa

Les codes 0 et 1 sont deux valeurs descriptives (ou encore deux réponses possibles). Les deux cliniciens ont décrit 19 cas, dont la répartition est indiquée dans ce qu’on appelle une table de contingence. Les nombres 7, 1, 2 et 9 sont des effectifs conjoints.

On constate trois différences de description : un cas est décrit 1 par le Clinicien 2 et 0 par le Clinicien 1, deux cas sont décrits 0 par le Clinicien 2 et 1 par le Clinicien 1. Soit une proportion de 3/19 = 16 % de désaccords. Conclusion : ces trois cas ne sont pas des unités d’observation exploitables puisque leur description change en fonction du juge. Le problème consiste à éliminer dans le futur les discordances, et on peut s’y atteler en travaillant sur la manière dont les cliniciens choisissent entre 0 et 1.

Dans cette perspective, 1 % de désaccords, c’est embêtant mais c’est mieux que 2 %. Et ainsi de suite jusqu’à ce qu’un consensus se dégage par la pratique collective. Si tous les chercheurs concernés font face à des désaccords de l’ordre de 20 %, on finira par dire que 30 %, ce n’est pas acceptable, mais qu’au-dessous de 20 %, les données seront d’une qualité acceptable — voir la même forme d’argumentation à propos de la falsification du modèle de Guttman.

D’où le faux problème : comment mesurer correctement la qualité, ou encore, la précision des données ? Réponse : avec le kappa de Cohen. Le problème est un faux problème parce que les 38 descriptions sont on ne peut plus précises — puisqu’elles sont faites dans un format de réponse discret (voir 7a). C’est pourquoi le nombre des désaccords observés est connu avec une précision parfaite.

2. Les probabilités à la rescousse

Il se peut que des accords surviennent par hasard et on va corriger le pourcentage d’accords en tenant compte de cette possibilité. Deux remarques. (1) Il ne s’agit pas d’agir sur la manière dont les juges décrivent les unités d’observation, quitte à améliorer le langage de la description, mais sur la manière dont on “mesure” la “qualité” ou la “précision” des données. (2) Pourquoi donc les juges devraient-ils répondre au hasard ? Le hasard consiste dans l’hypothèse (nulle) d’indépendance (stochastique) de deux variables aléatoires. Mais quelle est la pertinence de l’hypothèse nulle ? Les juges ne sont pas des variables aléatoires. Leurs jugements sont expérimentalement indépendants, c’est-à-dire qu’ils ne s’influencent pas mutuellement. Personne ne soutient que les juges fonctionnent comme un couple de variables aléatoires indépendantes.

Qu’importe, il faut modéliser. On va calculer la probabilité d’un événement de concordance comme si les deux juges fonctionnaient comme des variables indépendantes, et soustraire cette probabilité à la probabilité qu’on a calculée sans penser à cette possibilité. Mais, voudrait-on objecter, pas du tout ! Personne ne prétend avoir calculé une probabilité, il s’agit d’une proportion de désaccords, 3/19, pas d’une probabilité. Qu’importe encore, probabilité, proportion, fréquence, c’est pareil… L’étudiant docile n’osera pas remarquer qu’on passe allègrement du comptage empirique des cas de désaccord à la modélisation probabiliste d’événements définis dans un espace probabilisé dont le statut théorique est… vacant, et il ne le pourra pas s’il n’a aucune idée de ce qu’il faut pour définir mathématiquement la probabilité d’un événement.

Les probabilités des cellules de la table de contingence sont calculées en admettant qu’on connaisse les probabilités marginales. On les ignore. On connaît les fréquences marginales calculées en fonction des données. Ainsi, la probabilité des jugements conjoints est, par hypothèse, le produit des probabilités de chaque jugement. Le résultat des calculs est indiqué ci-dessous :

kappa3

On arrive à cette proposition que la probabilité de la concordance des deux juges est égale à 0.199 + 0.305 = 0.504. Très fort ! Ce n’est pas fini. La proportion d’accords est égale à 16/19 = 0.842 (ce qui est mieux que 0.504 mais personne n’en doutait, le contraire eut été surprenant). La formule du kappa est la suivante :

kappa = (0.842 – 0.504)/(1 – 0.504) = 0.681.

Voici donc la proportion d’accords, qui valait presque 85 %, savamment et sévèrement corrigée, puisqu’on arrive à 68 %. A-t-on résolu quelque chose ? Rien, puisque le problème est que la proportion d’accords n’est pas égale à 1. Si la proportion est égale à 1, le kappa ne sert à rien car

(1 – n’importe quoi)/(1 – n’importe quoi) = 1,

avec n’importe quoi non égal à 1.

Cerise sur le gâteau, on n’oubliera pas, en rapportant le kappa de Cohen, d’indiquer son intervalle de confiance à 90 ou 95 %… cela fera meilleure impression dans l’esprit de l’éditeur et des experts qui évalueront le “papier”.

Référence

Falissard, B. (2008). Mesurer la subjectivité en santé : perspective méthodologique et statistique. Paris: Masson.