Ce billet résulte de la difficulté, pour de nombreux étudiants de psychologie, de comprendre ce que sont les phénomènes statistiques rapportés par de nombreuses études empiriques en psychologie. Cette difficulté est aggravée, selon moi, par le canon éditorial qui veut que tout article empirique soit structuré en quatre parties, l’introduction, la méthodologie, les résultats et la discussion (American Psychological Association, 2010, chapitre 2), dont aucune ne permet de présenter explicitement l’expérience aléatoire qui construit — aux sens de (i) concevoir la possibilité de et (ii) en saisir les traces — le phénomène statistique¹. Comme il faut se livrer à une “archéologie” si on veut s’en faire une idée précise, cette norme de communication scientifique rend improbable la question de savoir quel est le support ontologique de l’expérience aléatoire — de quoi appréhende-t-on le comportement statistique ? — et permet d’admettre, à tord, que ce qui a été saisi du phénomène statistique est une description générale, c’est-à-dire valable pour tout individu (au sens générique d’entité) qui aurait pu être enrôlé dans l’étude pour enrichir l’échantillon d’unités d’observation (voir aussi Harré, 2004, Lamiell, 2013).

Des étudiants ont sélectionné Geiselman et Glenny (1977) qui, si je me fie à eux², ont testé 30 personnes à qui ils ont présenté successivement 18 diapositives, un questionnaire et 72 mots. Les étudiants retiennent deux critères du “mode” dit “d’essai” (voix masculine vs. féminine) et trois critères de “répétition” (voix masculine, féminine, sa propre voix). Si je ne trahis pas leur analyse, ils n’ont aucune idée de ce que les chercheurs cherchent dans les données parce qu’ils n’ont aucune idée du phénomène statistique que ceux-ci ont en tête.

On lit dans le résumé de l’article “A surprise recognition test for the words indicated that the words were more likely to be recognized if they were spoken in the same Voice at test as was used to repeat them during presentation”. Le phénomène statistique en question est la reconnaissance plus probable de mots préalablement entendus dans la condition “same Voice” que dans une autre condition. Il s’agit de ne pas confondre le phénomène psychologique, qui se produit, si l’on peut dire, dans la tête de chaque sujet lorsqu’il reconnaît ou ne reconnaît pas un mot qu’il vient d’entendre, et le phénomène statistique, qui ne se produit pas nécessairement chez quelqu’un (voir aussi Falissard, 2014 ; Hanson, 1971 ; Papert, 1981). C’est tout un travail d’acculturation, pour un étudiant de psychologie, d’accepter de s’intéresser non pas au premier phénomène, pertinent parce qu’il concerne des personnes “concrètes”³ mais au second, dont la pertinence tient à sa facilité d’accès empirique — les “données”⁴.

1. Version 1 de l’histoire

Comment se représenter ce phénomène statistique ? Par un schéma statistique simple, qui porte sur un événement aléatoire (voir Falmagne, 2003), nommément l’occurrence d’un nombre de mots rappelés : on observe un nombre de mots qui joue le rôle du résultat d’un lancer de dé — et, on va le voir plus bas, tout le problème est de savoir ce qu’est le dé — ; de plus, on suppose que les résultats de l’expérience aléatoire dépendent de la manière dont on jette le dé — selon qu’on déclenche l’expérience aléatoire dans telle ou telle condition.

Distinguons la condition “same Voice” et la condition “not-same Voice”. Le nombre de mots qui s’observe dans chaque condition est non seulement variable d’un sujet (penser “d’un lancer”) à un autre, mais encore les chercheurs parient que la variabilité aléatoire n’est pas la même dans chaque condition. Ils s’attendent à ce qu’en moyenne, le nombre de mots soit plus grand dans la condition same Voice. Compte tenu de ce qu’ils utilisent 30 sujets (penser “30 lancers”), ils peuvent comparer deux moyennes (une par condition), chacune étant probablement calculée à partir des 15 “lancers” de chaque condition.

En termes de tableau de données, où les colonnes sont des “variables” et les lignes les différentes occurrences de l’expérience aléatoire, on a une colonne qui indique, pour chaque occurrence (ou unité d’observation), la condition expérimentale et une colonne qui indique le nombre de mots rappelés ; et on a 30 lignes puisqu’on a 30 lancers. Le référentiel de description de cette étude est, pour la variable dite indépendante, la liste des conditions expérimentales, i.e., {same Voice, etc.⁵} et, pour la variable dite dépendante, {0, 1, …, n}, où n est le nombre maximum de mots pouvant être rappelés (je dirais 18) — le référentiel de l’étude est le produit cartésien de ces deux ensembles.

Concernant la population statistique qui permet de construire l’idée statistique de variable (bivariée puisqu’on a une VI et une VD), comment définir les unités statistiques qui la composent ? Du point de vue probabiliste, la population statistique se comporte, en émettant des signaux ou encore de l’information variables dans le référentiel de description de l’étude ; du point de vue empirique, et contrairement au dé comme réservoir de lancers, la population statistique n’a pas d’existence naturelle — d’où le paradoxe empiriste de ces études, qui est qu’elles sont fondées sur des données objectives qui, ensemble, décrivent le mirage d’un objet. Ce mirage résulte de la capacité des chercheurs à fabriquer un échantillon d’unités d’observation, en recrutant des sujets, en leur attribuant une condition expérimentale et en observant comment ils s’y comportent. Autrement dit, on a bien 30 unités d’observation, qui sont concrètement des couples (personne, moment de l’expérience dans la vie de cette personne), mais elles sont fabriquées au moment où les chercheurs le décident et il faut faire appel à l’imagination pour faire comme si les observations résultaient d’un échantillonnage : il n’y a pas plus de dé que d’urne qui contient à l’avance les unités statistiques dont certaines deviendraient des unités d’observation suite à un tirage au sort.

Le problème est qu’une telle façon d’étudier les gens ne permet d’apprendre d’une personne enrôlée dans l’expérience qu’un nombre : le nombre de mots qu’elle a reconnus dans telle circonstance expérimentale. Autrement dit, on ignore comment l’effet statistique mis en évidence peut intervenir chez au moins une personne et on peut même se demander si la réalité d’un tel effet expérimental a un sens au niveau individuel. On voit par là que le style de recherche qui définit la psychologie expérimentale depuis les années 30 (Danziger, 1987) consiste, pour les chercheurs, à montrer qu’ils sont capables de fabriquer des phénomènes statistiques (et ce n’est hélas pas un problème scientifique s’ils ne décrivent personne en particulier⁶).

2. Version 2 de l’histoire

La présentation qui précède méconnaît délibérément l’étude de Geiselman et Glenny (1977) : il s’agit, encore une fois, non pas de ce que Geiselman et Glenny racontent en fait, mais des connaissances qui sont nécessaires à leur lecteur pour qu’il obtienne de l’information quand il les lit — la compréhension d’un article empirique consiste essentiellement en une reconnaissance, laquelle n’est possible que si on connaît à l’avance ce qu’il y a à reconnaître. L’information essentielle dans ce type d’étude est la manière dont les chercheurs ont construit le phénomène statistique qu’ils présentent.

Il y a une autre manière possible de procéder, qui permet d’éviter l’absence de support ontologique du phénomène statistique (aucune entité empirique n’en est le siège). Il est possible que chaque sujet soit soumis à plusieurs (au moins deux) conditions expérimentales, et ceci de manière répétée, auquel cas on dispose, pour chaque sujet, du nombre moyen de mots rappelés dans chaque condition, et le phénomène statistique caractérise un sujet particulier — on étudie les tendances de chaque dé.

En termes de tableau de données, il faut rajouter au tableau précédent une colonne identifiant les sujets de l’expérience. On peut alors se demander si le phénomène statistique est un fait général, c’est-à-dire si, dans le cas le plus simple, la différence de moyennes a été observée pour chacun des 30 sujets testés — ce qui est plus intéressant. Les unités d’observation sont alors, étant donné un sujet particulier, les triplets (sujet, moment auquel il a été exposé à un mot, moment auquel il l’a reconnu ou pas). Le fait de conditionner le phénomène statistique “différence de moyennes” à un sujet “concret” permet de lui donner un support empirique (où “empirique” est synonyme de “concret”).

Toutefois, dans la mesure où le référentiel est artefactuel⁷, la population statistique reste une fiction dont on peut se passer si on peut échapper au rite du test statistique de l’hypothèse nulle (cf. Ohlsson, 2010). Un test statistique ne dit rien sur la robustesse du phénomène statistique, parce qu’un phénomène robuste est un phénomène régulier (qui se répète) ; or, pour savoir qu’un phénomène se répète, il faut en avoir pris l’habitude ce qui implique qu’il faut recommencer l’expérience aléatoire autant de fois qu’on le souhaite jusqu’à se convaincre qu’on peut “compter dessus” — c’est une question d’induction, pas de déduction — selon moi et plus exactement, de pseudo-déduction si l’on ne veut pas négliger quelques entorses aux règles de la logique, cruciales pour les besoins de la promotion de l’existence d’un effet statistique “scientifiquement attesté” (voir aussi Le test de H0).

Pour aller plus loin : 15a. Pour des exemples de phénomène statistique simulé où on voit comment le référentiel empirique est “tapé” ou “impacté” par la répétition de l’expérience aléatoire : choix d’un film au cinéma, score de QI.

Références

American Psychological Association (2010). Publication manual (6th ed.). Washington, DC.: Author.
Danziger, K. (1987). Statistical method and the historical development of research practice in American psychology. In L. Krüger, G. Gigerenzer & M. S. Morgan (Eds.), The probabilistic revolution, Vol. 2: Ideas in the sciences (pp. 35‑47). Cambridge: MIT Press.
Falmagne, J. C. (2003). Lectures in elementary probability theory and stochastic processes. Boston: McGraw Hill.
Geiselman, R. E., & Glenny, J. (1977). Effects of imagining speaker’s voices on the retention of words presented visually. Memory & Cognition, 5, 499-504.
Lamiell, J. T. (2013). Statisticism in personality psychologists’ use of trait constructs: What is it? How was it contracted? Is there a cure? New Ideas in Psychology, 31, 65-71.

1. J’utilise le singulier parce que si une étude repose sur plusieurs expériences aléatoires, il faut les envisager une par une. [↩]
2. L’objet n’est pas ici de commenter Geiselman et Glenny (1977) ; l’essentiel est dans les connaissances qui sont nécessaires à leur lecteur pour qu’il comprenne ce que les chercheurs ont appris de leur étude. [↩]
3. Je mets des guillemets parce que quoi de plus abstrait, artificiel, illogique, ou encore contradictoire, que l’idée d’une personne, qui, dans la durée, reste identique à elle-même, reconnaissable, tout en changeant ? [↩]
4. Ici aussi, il faut des guillemets parce que les données ne tombent pas du ciel mais résultent d’une activité humaine compliquée sans laquelle elles n’existeraient pas — la mise en œuvre de l’expérience aléatoire. [↩]
5. Il faut peut être distinguer plusieurs types de condition not-same Voice. [↩]
6. Ici, il y aurait beaucoup à discuter. Le problème n’est pas tant le goût pour les phénomènes statistiques ; le problème est l’impérialisme culturel qui va avec (voir, par exemple, Lamiell, 2013). [↩]
7. Un référentiel factuel contient des modalités descriptives qui sont valables à tout instant de la vie d’une entité, tandis qu’un référentiel artefactuel ne vaut que dans une situation particulière ; par exemple, le QI des gens n’est pas une propriété factuelle, mais artefactuelle : au cinéma, Paul n’a pas de QI du tout, ni de score de reconnaissance des mots d’une liste expérimentale. [↩]