Dans les domaines où la statistique inférentielle est importante, beaucoup de gens croient avoir corroboré l’hypothèse d’une influence en ayant rejeté l’hypothèse nulle (H0). Cette croyance repose sur l’argument suivant :
si telle ‘variable’ influence telle autre ‘variable’, alors H0 est fausse (et on va pouvoir la rejeter à l’aide d’un test statistique).
Parfois, H0 est entendue comme formulation de l’effet du hasard et, naturellement, si une variable influence une autre variable, on s’attend à ce que la manifestation de cette influence ne soit pas un effet du hasard. Autrement dit (contraposée de l’argument), si H0 est vraie (l’effet statistique est l’effet du hasard) alors la ‘variable indépendante’ n’influence pas la ‘variable dépendante’ — qui n’est donc plus dépendante.
Petite complication : comme l’effet statistique qu’on calcule à partir d’un échantillon est compatible avec H0, on ne peut pas falsifier H0 avec cette valeur empirique1. Autrement dit, impossible de savoir par déduction si H0 est vraie ou fausse. Solution : on convient de ce que H0 est fausse (on dit qu’on la rejette) quand cette valeur empirique est statistiquement significative, c’est-à-dire quand la variable test prend certaines valeurs extrêmes. En modifiant le sens du mot “test”, on dit alors qu’on a testé H0 (on modifie le sens du mot parce qu’on admet qu’on peut tester une hypothèse qui n’a pas de conséquence falsifiable, autrement dit qui n’est pas testable, si une hypothèse testable est une hypothèse qui a au moins une conséquence falsifiable)2.
Toujours en considérant que l’argument est valide, il est plus difficile de falsifier l’hypothèse théorique d’influence puisqu’il faut avoir admis que H0 est vraie. Résultat pratique : un biais de confirmation institutionnalisé — seules les études qui corroborent l’hypothèse théorique sont publiées — mais il faut mettre un bémol, certaines revues commencent à accepter de publier des résultats statistiquement non significatifs.
Mais l’argument est invalide, pour la raison suivante : la probabilisation qui permet le test statistique probabilise une statistique du phénomène sous une hypothèse nulle qui n’est pas explicitement articulée à un modèle de la structure causale du phénomène (c’est en lisant Sayer, 1992, que j’ai réalisé cela). On peut tester H0 de manière non critique (parce que, par exemple, on a appris à le faire en cours de méthodologie, ou encore, “c’est comme ça qu’on fait en recherche normale” — pour reprendre le terme de Kuhn, 1996). On peut aussi vouloir apprendre quelque chose des données elles-mêmes, ce qui suppose d’avoir une idée précise de ce qu’on appelle influence.
1. Première façon d’invalider l’argument
Pour montrer que l’argument ci-dessus (en bleu) est invalide, il suffit d’exhiber un contre-exemple, c’est-à-dire un cas où l’influence de la VI sur la VD implique H0. On va exhiber un cas où H0 stipule l’égalité de deux probabilités indépendantes, p0 = p1. Supposons un système qui se comporte de deux manières possibles : soit il est dans l’état e soit dans l’état ¬e (lire ‘non-e‘), selon les conditions dans lesquelles il se trouve. Ces conditions, C1 et C2, influencent le système comme récapitulé dans le tableau ci-dessous.
| C1 | C2 | Etat du système |
| 0 | 0 | e |
| 0 | 1 | ¬e |
| 1 | 0 | ¬e |
| 1 | 1 | e |
Formellement, l’état du système est une fonction de C1 et C2 — état du système = F(C1, C2), où l’ensemble de départ de F est le produit cartésien des modalités de C1 et des modalités de C2 (vues comme variables, c’est-à-dire que C1 et C2 peuvent varier durant la vie du système), c’est-à-dire l’ensemble {00, 01, 10, 11}, et où l’ensemble d’arrivée de F est {e, ¬e}.
Une illustration de cette situation peut aider à se figurer ce dont il est question. Imaginons une porte qui s’ouvre dans un sens ou dans un autre, selon qu’elle est poussée d’un côté ou de l’autre. Si aucune poussée n’est exercée (C1= 0 et C2 = 0), la porte reste fermée (e). Si une seule poussée est exercée (C1 = 1 et C2 = 0 ou bien C1 = 0 et C2 = 1), la porte s’ouvre (¬e). Si la poussée est exercée de part et d’autre de la porte (C1 = 1 et C2 = 1), la porte reste fermée (les deux poussées s’annulent).
Supposons que le chercheur sache contrôler ou seulement observer C1 mais soit ignore que la condition C2 influence l’état du système (ignorance théorique), soit ne sache contrôler ni observer C2 (ignorance pratique, on ne sait pas “mesurer” C2). Supposons enfin que quand il observe le système, la condition C2 ne dépende pas de la condition C1 : en termes probabilistes, C1 et C2 sont des variables indépendantes ; par exemple, Pr(C1 = 0 et C2 = 0) = Pr(C1 = 0) × Pr(C2 = 0).
Alors la probabilité p0 de e sachant C1 = 0 est la probabilité de C2 = 0, et la probabilité p1 de e sachant C1 = 1 est la probabilité de C2 = 1. Si la probabilité de C2 = 0 vaut 0,5, la probabilité de C2 = 1 vaut aussi 0,5 et alors p0 et p1 sont égales. (Pour une démonstration, voir l’annexe à la fin de ce billet.)
Donc l’influence de C1 sur le système n’implique pas que “H0 : p0 = p1” soit fausse : tout dépend de la relation statistique de C1 et C2. Cette relation statistique n’est pas la structure causale du système : elle décrit la fréquence de réalisation des conditions qui, conjointement, déterminent le fait que le système se trouve dans l’état e ou ¬e.
2. Corrélation n’est pas causalité
Les proportions observées p0 et p1 reflèteront la statistique des états en C1 et C2 étant donné le rôle causal de C1 et C2 sur le système, pas l’influence de C1 sur le système, qui est décrite dans le tableau ci-dessus ou encore dans le contenu de l’expression “état du système = F(C1, C2)”. Si la distribution des états en C2 n’est pas la même sous C1 = 0 et sous C1 = 1, le chercheur pourra trouver une différence significative entre les deux proportions observées (voir la simulation, première feuille de calcul). S’il applique l’argument ci-dessus (en bleu), il conclura que C1 a une influence sur le système mais sa conclusion, quoique juste, sera logiquement invalide parce que fondée sur un argument logiquement invalide.
3. Deuxième façon d’invalider l’argument
Cette conclusion invalide est juste si C1 a une influence, mais C1 pourrait tout aussi bien ne pas avoir d’influence. Supposons maintenant que les lois du système soient telles que représentées ci-dessous.
| C1 | C2 | Etat du système |
| 0 | 0 | e |
| 0 | 1 | ¬e |
| 1 | 0 | e |
| 1 | 1 | ¬e |
On voit bien que l’état du système ne dépend pas de C1 mais seulement de C2 — état du système = F(C2). Si on constate une différence statistiquement significative, par exemple p0 < p1 avec un “risque d’erreur de type 1” inférieur à .05, cela signifie seulement que C1 et C2 ne sont pas indépendantes (au sens statistique ou probabiliste du terme) et que C2 était à 0 moins souvent quand C1 était à 0 que quand C1 était à 1 (voir la simulation, deuxième feuille de calcul).
4. Conclusions méthodologiques
On a observé un lien statistique significatif entre une VI et une VD. On n’a pas corroboré que la VI influence la VD parce qu’on n’a pas testé cette influence. On a testé une hypothèse nulle qui permet de définir une variable test et une convention de rejet fondée sur le fait qu’on connaît la loi de probabilité de cette variable test. Rejeter H0, c’est dire “tiens, il y a un phénomène statistique qui devrait se produire rarement si H0 était vraie, on peut le prendre au sérieux pour l’utiliser (il risque d’être robuste) ou pour l’expliquer (il y a un mécanisme causal qui se cache derrière l’effet)”.
Cependant, du point de vue des connaissances empiriques, mieux vaut quelques réplications brutes d’inférence statistique qu’un seul échantillonnage (ou sondage) assorti d’une analyse de signification statistique, qui, aussi brillante soit-elle du point de vue mathématique, probabiliste, statistique, non seulement ignore complètement la notion de causalité mais encore ne dit rien sur la robustesse (ou réplicabilité) du phénomène statistique.
Si on espère apprendre quelque chose des conditions déterminantes de l’état du système au cours de sa vie, ce test de signification et les calculs afférant d’intervalles de confiance relèvent plus d’un ritualisme scientiste que de la méthodologie proprement scientifique (i.e., d’une démarche critique rationnelle). Il vaudrait mieux consacrer son temps et son énergie à imaginer les causes possibles du phénomène, à imaginer comment les tester et à les tester (voir aussi Hanson, 1971).
Il y a plus : lorsqu’on dispose d’une hypothèse causale qu’on estime complète (i.e., on estime avoir fait la liste de toutes les conditions pertinentes), le test de cette hypothèse ne nécessite aucun test statistique d’une hypothèse nulle. Il suffit de savoir quels sont les contre-exemples (falsificateurs) de l’hypothèse et d’observer le système dans chacune des conditions pertinentes pour essayer de prendre la théorie en flagrant délit d’erreur.
Le travail expérimental consiste à réaliser ces conditions plutôt qu’à attendre qu’elles soient réalisées (ce qui bien entendu n’est pas nécessairement possible selon ce que sont le système et ses conditions pertinentes dans la recherche concrète ; voir aussi Popper, 1992). Si on trouve des contre-exemples et qu’on reconnaît leur existence, le problème consiste à imaginer ce qui les rend possibles et ce qui les rendrait impossibles (élaboration de la théorie et/ou du protocole expérimental).
Références
Kuhn, T. S. (1996). The structure of scientific revolutions (3d ed.). Chicago: The University of Chicago Press.
Sayer, A. (1992). Method in social science: A realist approach (2d ed). London: Routledge.
Annexe : démonstration
L’espace probabilisé auquel on s’intéresse est associée à la vie du système. Chaque instant de la vie du système est un point de Ω = [ti, tf], où ti et tf représentent la date de naissance et la date de mort du système, respectivement. A chaque instant de la vie du système est associé un et un seul état du système, élément de l’ensemble des états élémentaires
{00e, 00¬e, 01e, 01¬e, 10e, 10¬e, 11e, 11¬e}.
On admet qu’il existe une mesure (ou loi) de probabilité des états du système. Du fait de la structure causale du système, on sait que Pr(00¬e) = Pr(11¬e) = Pr(01e) = Pr(10e) = 0 (i.e., les événements 00¬e, 11¬e, 01e et 10e sont impossibles).
Notons p0 = Pr(e|C1 = 0) et p1 = p(e|C1 = 1). On veut montrer que si C1 et C2 sont des variables indépendantes et si Pr(C2 = 0) = Pr(C2 = 1), alors p0 = p1.
p0 = Pr(e|C1 = 0) = Pr(e et C1 = 0)/p(C1 = 0) — définition d’une probabilité conditionnelle : Pr(A|B) = Pr(A et B)/Pr(B).
L’événement “e et C1 = 0″ est l’événement “00e ou 01e“. Or 00e et 01e sont incompatibles. D’où
Pr(e et C1 = 0) = Pr(00e) + Pr(01e) et
p0 = [Pr(00e) + Pr(01e)]/Pr(C1 = 0).
L’événement 01e est causalement impossible. D’où
p0 = Pr(00e)/Pr(C1 = 0).
p00e = Pr(00) car Pr(00) = Pr(00e ou 00¬e) = Pr(00e) + Pr(00¬e) et Pr(00¬e) = 0, donc
p0 = Pr(00)/Pr(C1 = 0)..
C1 et C2 sont indépendantes donc Pr(00) = Pr(C1 = 0) × Pr(C2 = 0). D’où
p0 = Pr(C1 = 0) × Pr(C2 = 0)/Pr(C1 = 0) = Pr(C2 = 0).
De même,
p1 = Pr(e|C1 = 1) = Pr(e et C1 = 1)/Pr(C1 = 1).
L’événement “e et C1 = 1″ est l’événement “10e ou 11e“. D’où
p1 = [Pr(10e) + Pr(11e)]/Pr(C1 = 1).
L’événement 11¬e est causalement impossible. D’où
p1 = Pr(11e)/Pr(C1 = 1).
p11e = Pr(11). Comme C1 et C2 sont indépendantes,
p1 = Pr(C1 = 1) × Pr(C2 = 1)/Pr(C1 = 1) = Pr(C2 = 1).
Si Pr(C2 = 0) = Pr(C2 = 1), alors p0 = p1 (cqfd — ce qu’il fallait démontrer).