Archives par étiquette : test d’hypothèse

Définition. Une OPA sem en paradigmatique des sciences

Une offre publique d’achat est une OPA. L’usage de la métaphore en science étant sujet à caution, pourquoi utiliser cette expression pour décrire ce qui peut se passer dans un paradigme scientifique ? 

Définition subsidiaire 1. Paradigme scientifique — se dit d’un ensemble de discours et de pratiques qui se désignent comme “scientifiques”.

Définition subsidiaire 2. Paradigmatique des sciences — une disciple de la philosophie des sciences qui s’occupe de décrire le mode d’existence des sciences à travers ses discours et ses pratiques.

Une OPA sémantique (abrégé OPA sem) en paradigmatique des sciences consiste dans ce phénomène linguistique : le sens académique, technique, scientifique, etc. d’une expression porte sur un domaine plus restreint que le sens non-contrôlé de cette expression. Autrement dit, quand on parle d’une OPA sem, on énonce dans un langage imagé qu’il s’est passé quelque chose de particulier, une restriction de sens — l’analogie de la métaphore tenant à ce qu’une OPA en économie entraîne une restriction économique, à savoir que certaines possibilités économiques ont disparu.1

Exemple d’OPA sem en psychologie : “hypothesis testing” est une expression qui désigne spécifiquement, exclusivement, le test d’hypothèses nulles définies en statistique. Par conséquent, elle ne désigne plus le test d’hypothèse tel qu’il a été connu dans le domaine de la démarche dite hypothético-déductive en science. Une conséquence probable de cette OPA est qu’on ne s’intéresse plus aux travaux qui se donneraient pour objectif de tester des hypothèses scientifiques, notamment psychologiques, sans le recours à la statistique dite inférentielle.2

Deuxième exemple d’OPA sem en psychologie et sciences connexes : en psychologie et sciences connexes, un résultat expérimental est dit scientifique si au moins une hypothèse nulle a été testée. L’effet de l’OPA sem en question est qu’aucun résultat expérimental qui ne s’accompagne d’un test statistique d’hypothèse nulle (“null hypothesis significance testing”) n’est scientifique. Il s’agit d’un contrôle, ou encore d’une censure, qui s’exerce sur la valeur de l’expérience ou encore sur l’expérience valable (qui vaut).

  1. D’après le Trésor de la Langue Française : Procédure consistant, pour une société A (la société initiatrice) désirant prendre ou renforcer son contrôle sur la société B, à proposer publiquement aux actionnaires de la société visée le rachat de leurs titres à un prix supérieur au cours de la bourse, pendant une période limitée, et sous réserve qu’au terme de cette période le nombre de titres demandés par la société initiatrice soit atteint. []
  2. La police académique n’interdit pas de collectionner des exemples d’OPA sémantique dans tel ou tel secteur de la recherche académique. []

37a. Quand ‘l’influence’ d’une variable ‘indépendante’ implique H0

Dans les domaines où la statistique inférentielle est importante, beaucoup de gens croient avoir corroboré l’hypothèse d’une influence en ayant rejeté l’hypothèse nulle (H0). Cette croyance repose sur l’argument suivant :

si telle ‘variable’ influence telle autre ‘variable’, alors H0 est fausse (et on va pouvoir la rejeter à l’aide d’un test statistique).

Parfois, H0 est entendue comme formulation de l’effet du hasard et, naturellement, si une variable influence une autre variable, on s’attend à ce que la manifestation de cette influence ne soit pas un effet du hasard. Autrement dit (contraposée de l’argument), si H0 est vraie (l’effet statistique est l’effet du hasard) alors la ‘variable indépendante’ n’influence pas la ‘variable dépendante’ — qui n’est donc plus dépendante.

Petite complication : comme l’effet statistique qu’on calcule à partir d’un échantillon est compatible avec H0, on ne peut pas falsifier H0 avec cette valeur empirique1. Autrement dit, impossible de savoir par déduction si H0 est vraie ou fausse. Solution : on convient de ce que H0 est fausse  (on dit qu’on la rejette) quand cette valeur empirique est statistiquement significative, c’est-à-dire quand la variable test prend certaines valeurs extrêmes. En modifiant le sens du mot “test”, on dit alors qu’on a testé H0 (on modifie le sens du mot parce qu’on admet qu’on peut tester une hypothèse qui n’a pas de conséquence falsifiable, autrement dit qui n’est pas testable, si une hypothèse testable est une hypothèse qui a au moins une conséquence falsifiable)2.

Toujours en considérant que l’argument est valide, il est plus difficile de falsifier l’hypothèse théorique d’influence puisqu’il faut avoir admis que H0 est vraie. Résultat pratique : un biais de confirmation institutionnalisé — seules les études qui corroborent l’hypothèse théorique sont publiées — mais il faut mettre un bémol, certaines revues commencent à accepter de publier des résultats statistiquement non significatifs.

Mais l’argument est invalide, pour la raison suivante : la probabilisation qui permet le test statistique probabilise une statistique du phénomène sous une hypothèse nulle qui n’est pas explicitement articulée à un modèle de la structure causale du phénomène (c’est en lisant Sayer, 1992, que j’ai réalisé cela). On peut tester H0 de manière non critique (parce que, par exemple, on a appris à le faire en cours de méthodologie, ou encore, “c’est comme ça qu’on fait en recherche normale” — pour reprendre le terme de Kuhn, 1996). On peut aussi vouloir apprendre quelque chose des données elles-mêmes, ce qui suppose d’avoir une idée précise de ce qu’on appelle influence.

1. Première façon d’invalider l’argument

Pour montrer que l’argument ci-dessus (en bleu) est invalide, il suffit d’exhiber un contre-exemple, c’est-à-dire un cas où l’influence de la VI sur la VD implique H0. On va exhiber un cas où H0 stipule l’égalité de deux probabilités indépendantes, p0 = p1. Supposons un système qui se comporte de deux manières possibles : soit il est dans l’état e soit dans l’état ¬e (lire ‘non-e‘), selon les conditions dans lesquelles il se trouve. Ces conditions, C1 et C2, influencent le système comme récapitulé dans le tableau ci-dessous.

C1 C2 Etat du système
0 0 e
0 1 ¬e
1 0 ¬e
1 1 e

Formellement, l’état du système est une fonction de C1 et C2 — état du système = F(C1, C2), où l’ensemble de départ de F est le produit cartésien des modalités de C1 et des modalités de C2 (vues comme variables, c’est-à-dire que C1 et C2 peuvent varier durant la vie du système), c’est-à-dire l’ensemble {00, 01, 10, 11}, et où l’ensemble d’arrivée de F est {e, ¬e}.

Une illustration de cette situation peut aider à se figurer ce dont il est question. Imaginons une porte qui s’ouvre dans un sens ou dans un autre, selon qu’elle est poussée d’un côté ou de l’autre. Si aucune poussée n’est exercée (C1= 0 et C2 = 0), la porte reste fermée (e). Si une seule poussée est exercée (C1 = 1 et C2 = 0 ou bien C1 = 0 et C2 = 1), la porte s’ouvre (¬e). Si la poussée est exercée de part et d’autre de la porte (C1 = 1 et C2 = 1), la porte reste fermée (les deux poussées s’annulent).

Supposons que le chercheur sache contrôler ou seulement observer C1 mais soit ignore que la condition C2 influence l’état du système (ignorance théorique), soit ne sache contrôler ni observer C2 (ignorance pratique, on ne sait pas “mesurer” C2). Supposons enfin que quand il observe le système, la condition C2 ne dépende pas de la condition C1 : en termes probabilistes, C1 et C2 sont des variables indépendantes ; par exemple, Pr(C1 = 0 et C2 = 0) = Pr(C1 = 0) × Pr(C2 = 0).

Alors la probabilité p0 de e sachant C1 = 0 est la probabilité de C2 = 0, et la probabilité p1 de e sachant C1 = 1 est la probabilité de C2 = 1. Si la probabilité de C2 = 0 vaut 0,5, la probabilité de C2 = 1 vaut aussi 0,5 et alors p0 et p1 sont égales. (Pour une démonstration, voir l’annexe à la fin de ce billet.)

Donc l’influence de C1 sur le système n’implique pas que “H0 : p0 = p1” soit fausse : tout dépend de la relation statistique de C1 et C2. Cette relation statistique n’est pas la structure causale du système : elle décrit la fréquence de réalisation des conditions qui, conjointement, déterminent le fait que le système se trouve dans l’état e ou ¬e.

2. Corrélation n’est pas causalité

Les proportions observées p0 et p1 reflèteront la statistique des états en C1 et C2 étant donné le rôle causal de C1 et C2 sur le système, pas l’influence de C1 sur le système, qui est décrite dans le tableau ci-dessus ou encore dans le contenu de l’expression “état du système = F(C1, C2)”. Si la distribution des états en C2 n’est pas la même sous C1 = 0 et sous C1 = 1, le chercheur pourra trouver une différence significative entre les deux proportions observées (voir la simulation, première feuille de calcul). S’il applique l’argument ci-dessus (en bleu), il conclura que C1 a une influence sur le système mais sa conclusion, quoique juste, sera logiquement invalide parce que fondée sur un argument logiquement invalide.

3. Deuxième façon d’invalider l’argument

Cette conclusion invalide est juste si C1 a une influence, mais C1 pourrait tout aussi bien ne pas avoir d’influence. Supposons maintenant que les lois du système soient telles que représentées ci-dessous.

C1 C2 Etat du système
0 0 e
0 1 ¬e
1 0 e
1 1 ¬e

On voit bien que l’état du système ne dépend pas de C1 mais seulement de C2 — état du système = F(C2). Si on constate une différence statistiquement significative, par exemple p0 < p1  avec un “risque d’erreur de type 1” inférieur à .05, cela signifie seulement que C1 et C2 ne sont pas indépendantes (au sens statistique ou probabiliste du terme) et que C2 était à 0 moins souvent quand C1 était à 0 que quand C1 était à 1 (voir la simulation, deuxième feuille de calcul).

4. Conclusions méthodologiques

On a observé un lien statistique significatif entre une VI et une VD. On n’a pas corroboré que la VI influence la VD parce qu’on n’a pas testé cette influence. On a testé une hypothèse nulle qui permet de définir une variable test et une convention de rejet fondée sur le fait qu’on connaît la loi de probabilité de cette variable test. Rejeter H0, c’est dire “tiens, il y a un phénomène statistique qui devrait se produire rarement si H0 était vraie, on peut le prendre au sérieux pour l’utiliser (il risque d’être robuste) ou pour l’expliquer (il y a un mécanisme causal qui se cache derrière l’effet)”.

Cependant, du point de vue des connaissances empiriques, mieux vaut quelques réplications brutes d’inférence statistique qu’un seul échantillonnage (ou sondage) assorti d’une analyse de signification statistique, qui, aussi brillante soit-elle du point de vue mathématique, probabiliste, statistique, non seulement ignore complètement la notion de causalité mais encore ne dit rien sur la robustesse (ou réplicabilité) du phénomène statistique.

Si on espère apprendre quelque chose des conditions déterminantes de l’état du système au cours de sa vie, ce test de signification et les calculs afférant d’intervalles de confiance relèvent plus d’un ritualisme scientiste que de la méthodologie proprement scientifique (i.e., d’une démarche critique rationnelle). Il vaudrait mieux consacrer son temps et son énergie à imaginer les causes possibles du phénomène, à imaginer comment les tester et à les tester (voir aussi Hanson, 1971).

Il y a plus : lorsqu’on dispose d’une hypothèse causale qu’on estime complète (i.e., on estime avoir fait la liste de toutes les conditions pertinentes), le test de cette hypothèse ne nécessite aucun test statistique d’une hypothèse nulle. Il suffit de savoir quels sont les contre-exemples (falsificateurs) de l’hypothèse et d’observer le système dans chacune des conditions pertinentes pour essayer de prendre la théorie en flagrant délit d’erreur.

Le travail expérimental consiste à réaliser ces conditions plutôt qu’à attendre qu’elles soient réalisées (ce qui bien entendu n’est pas nécessairement possible selon ce que sont le système et ses conditions pertinentes dans la recherche concrète ; voir aussi Popper, 1992). Si on trouve des contre-exemples et qu’on reconnaît leur existence, le problème consiste à imaginer ce qui les rend possibles et ce qui les rendrait impossibles (élaboration de la théorie et/ou du protocole expérimental).

Références

Kuhn, T. S. (1996). The structure of scientific revolutions (3d ed.). Chicago: The University of Chicago Press.

Sayer, A. (1992). Method in social science: A realist approach (2d ed). London: Routledge.

Annexe : démonstration

L’espace probabilisé auquel on s’intéresse est associée à la vie du système. Chaque instant de la vie du système est un point de Ω = [ti, tf], où ti et tf représentent la date de naissance et la date de mort du système, respectivement. A chaque instant de la vie du système est associé un et un seul état du système, élément de l’ensemble des états élémentaires

{00e, 00¬e, 01e, 01¬e, 10e, 10¬e, 11e, 11¬e}.

On admet qu’il existe une mesure (ou loi) de probabilité des états du système. Du fait de la structure causale du système, on sait que  Pr(00¬e) = Pr(11¬e) = Pr(01e) = Pr(10e) = 0 (i.e., les événements 00¬e, 11¬e, 01e et 10e sont impossibles).

Notons p0 = Pr(e|C1 = 0) et p1 = p(e|C1 = 1). On veut montrer que si C1 et C2 sont des variables indépendantes et si Pr(C2 = 0) = Pr(C2 = 1), alors p0 = p1.

p0 = Pr(e|C1 = 0) = Pr(e et C1 = 0)/p(C1 = 0) — définition d’une probabilité conditionnelle : Pr(A|B) = Pr(A et B)/Pr(B).

L’événement “e et C1 = 0″ est l’événement “00e ou 01e“. Or 00e et 01e sont incompatibles. D’où

Pr(e et C1 = 0) = Pr(00e) + Pr(01e) et

p0 = [Pr(00e) + Pr(01e)]/Pr(C1 = 0).

L’événement 01e est causalement impossible. D’où

p0 = Pr(00e)/Pr(C1 = 0).

p00e = Pr(00) car Pr(00) = Pr(00e ou 00¬e) = Pr(00e) + Pr(00¬e) et Pr(00¬e) = 0, donc

p0 = Pr(00)/Pr(C1 = 0)..

C1 et C2 sont indépendantes donc Pr(00) = Pr(C1 = 0) × Pr(C2 = 0). D’où

p0 = Pr(C1 = 0) × Pr(C2 = 0)/Pr(C1 = 0) = Pr(C2 = 0).

De même,

p1 = Pr(e|C1 = 1) = Pr(e et C1 = 1)/Pr(C1 = 1).

L’événement “e et C1 = 1″ est l’événement “10e ou 11e“. D’où

p1 = [Pr(10e) + Pr(11e)]/Pr(C1 = 1).

L’événement 11¬e est causalement impossible. D’où

p1 = Pr(11e)/Pr(C1 = 1).

p11e = Pr(11). Comme C1 et C2 sont indépendantes,

p1 = Pr(C1 = 1) × Pr(C2 = 1)/Pr(C1 = 1) = Pr(C2 = 1).

Si Pr(C2 = 0) = Pr(C2 = 1), alors p0 = p1 (cqfd — ce qu’il fallait démontrer).

 

Cite this article as: Stéphane Vautier, "37a. Quand ‘l’influence’ d’une variable ‘indépendante’ implique H0", in Épistémologie de la psychologie, 09/10/2015, https://epistemo.hypotheses.org/3106.

  1. On peut soutenir que H0 est vraie par définition du point de vue mathématique, invraisemblable du point de vue empirique — voir ici. []
  2. Popper (1978/2012) prévient le purisme hypothético-déductif ici. []

30a. Mesurage fonctionnel : tester le modèle additif

Cet article présente le modèle additif du mesurage fonctionnel (functional measurement) proposé par Norman H. Anderson (e.g., 2001). Dans la perspective falsificationniste que nous adoptons, l’intérêt majeur de ce modèle de mesurage est qu’il est testable à l’échelle d’une personne.

1. Mesurer l’appréciation subjective d’une situation multi-critère

Le schéma ci-dessous (source) permet de visualiser le processus de mesurage. La grandeur mesurée, r sur le schéma, est une appréciation subjective (par exemple, l’acceptabilité de telle punition dans telle situation). Le mesurant de la grandeur r est la réponse R (par exemple, la distance qui sépare la marque de la personne de l’origine de l’échelle visuelle analogique qu’elle utilise).

450px-Information-integration.svg

La quantité de grandeur r est définie comme la somme des quantités sA, sB, …, sZ (intégration additive). Ces quantités sont des valeurs attribuées aux aspects (critères) SA, SB, …, SZ de la situation. La fonction de mesurage reliant R à r est une fonction affine positive :

R = a + br, b > 0, ou encore r = (R – a)/b.

Contrairement au mesurage d’une grandeur psychologique par une réponse multivariée qualitative, où la grandeur n’est pas analysée (cf. 11a), le mesurage fonctionnel de l’appréciation subjective repose sur la décomposition additive de la grandeur (appréciation) et sur une réponse quantitative univariée (R comme distance sur une échelle visuelle analogique).

2. Tester le modèle à l’échelle de la personne qui produit les appréciations

Tout repose sur la supposition selon laquelle l’appréciation r intègre additivement les valeurs données à un certain nombre de critères. Considérons une situation à deux critères dichotomiques SA et SB (SA = 0 ou 1, SB = 0 ou 1). Notons les valeurs correspondantes sA=0, sA=1, sB=0 et sB=1. On a donc :

  • rA=0 et B=0 = sA=0 + sB=0,
  • rA=0 et B=1 = sA=0 + sB=1,
  • rA=1 et B=0 = sA=1 + sB=0,
  • rA=1 et B=1 = sA=1 + sB=1.

En remplaçant dans l’équation de mesurage, on obtient :

  1. rA=0 et B=0 = sA=0 + sB=0 = (RA=0 et B=0 a)/b,
  2. rA=0 et B=1 = sA=0 + sB=1 = (RA=0 et B=1 a)/b,
  3. rA=1 et B=0 = sA=1 + sB=0 = (RA=1 et B=0 a)/b,
  4. rA=1 et B=1 = sA=1 + sB=1 = (RA=1 et B=1 a)/b.

En soustrayant (2) à (1), on obtient

sA=0 + sB=0 – (sA=0 + sB=1) = (RA=0 et B=0 a)/b – (RA=0 et B=1 a)/b,

c’est-à-dire

sB=0 – sB=1 = (RA=0 et B=0 – RA=0 et B=1)/b

d’où

b(sB=0 – sB=1) = RA=0 et B=0 – RA=0 et B=1.

En soustrayant (4) à (3), on obtient

b(sB=0 – sB=1) = RA=1 et B=0 – RA=1 et B=1,

d’où

RA=1 et B=0 – RA=1 et B=1 = RA=0 et B=0 – RA=0 et B=1.

Si le modèle est vrai, deux différences observables sont égales.

On obtient l’égalité de deux autres différences observables en soustrayant (3) à (1) et (4) à (2) :

RA=0 et B=0 – RA=1 et B=0 = RA=0 et B=1 – RA=1 et B=1.

 3. Négocier l’approximation

On demande à quelqu’un, à qui on a appris à distinguer les critères SA et SB, d’apprécier les quatre situations (en abrégé : 00, 01, 10, 11). On calcule les quatre différences et il faut alors juger : les égalités déduites de la théorie sont-elles obtenues ou pas ? Comme on ne dispose pas d’une mesure exacte des distances R, on peut se donner une approximation de ± 1 mm, c’est une question de convention (cf. 7a).

Avec cette convention, on accepte comme approximativement égales deux valeurs dont la différence est inférieure, en valeur absolue, à 2 mm, et comme clairement inégales deux valeurs dont la différence est supérieure, en valeur absolue, à 2 mm.

4. La stabilité des réponses

Supposons que le test soit réussi. Peut-on conclure que la personne produit ses appréciations pour cette situation toujours selon la même formule d’intégration additive ? Non. Il faut vérifier, par exemple, trois jours plus tard. Il est possible que ses appréciations changent, de telle sorte que l’additivité soit à nouveau corroborée, ou bien de telle sorte que l’additivité soit falsifiée. Immense est notre ignorance.

5. Comparabilité inter-individuelle

Supposons que les réponses de Paul et de Julie permettent de supposer qu’elles mesurent leurs appréciations selon le modèle additif. Supposons que lorsqu’ils apprécient la situation 00, leurs réponses soient 2 et 4 cm, respectivement. Peut-on en déduire que Paul a une appréciation plus petite que Julie de la situation ?

D’après la théorie, les personnes attribuent des valeurs aux critères. Mais la théorie est muette sur l’unité de valeur sur laquelle repose l’additivité. Rien ne dit que les unités de valeur utilisées par Paul et Julie pour évaluer les critères soient égales — d’un point de vue épistémologique, on peut se demander s’il existe même un critère d’égalité. Même en postulant l’égalité des unités de valeur, rien ne dit que les fonctions de mesurage qu’ils utilisent, une fois les valeurs additionnées, pour indiquer leurs appréciations sur l’échelle de réponse, soient identiques.

La plausibilité de l’additivité du modèle au niveau intra-individuel n’implique pas que les réponses (R) permettent des comparaisons théoriques inter-individuelles (r). Agréger les réponses de personnes différentes pour faire des inférences sur le processus de mesurage fonctionnel moyen suppose d’accepter que ce processus ne dépende pas des personnes (seules les valeurs données aux critères seraient spécifiques). Cette hypothèse est testable : elle implique que toute personne produise ses réponses selon un processus additif.

Référence

Anderson, N. H. (2001). Empirical direction in design and analysis. Mahwah, NJ: Lawrence Erlbaum Associates.