Joel Michell on the myth of mental measurement

The discourse of testing, in particular presenting testing as if it were a form of measurement, outstrips the science upon which testing is based. There is no evidence either that tests measure anything or that the attributes that testers aspire to measure are measurable, so presenting tests as if they were instruments of measurement is presenting a myth, the myth of mental measurement, as if it were a known fact. (p. 112)

Michell, J. (2009). Invalidity in validity. In R. W. Lissitz (Ed.), The concept of validity: Revisions, new directions and applications (pp. 111-133). Charlotte, NC: Information Age Publishing.

 


2 réflexions sur « Joel Michell on the myth of mental measurement »

  1. Fontaine Maylis

    J’ai immédiatement pensé à vos enseignements relatifs au mesurage, dispensés lors de mon récent cursus de licence en lisant l’article suivant : http://tempsreel.nouvelobs.com/l-histoire-du-soir/20150827.OBS4874/psychologie-ils-publient-une-etude-pour-denoncer-la-fiabilite-des-etudes.html
    J’aimerais beaucoup avoir votre avis sur cet article. Pour ma part, je me questionne : la non-reproductibilité de résultat est-elle gage de falsification? Selon l’article, la validité des résultats serait également liée à la taille des échantillons, mais ne suffit-il pas d’un falsificateur sur même 1 million pour invalider l’hypothèse? Le seul moyen serait alors de considérer l’ensemble de la population étudiée? Ce qui, de toute façon, est bien évidemment irréalisable sur le plan matériel…

    Répondre
    1. Stéphane Vautier Auteur de l’article

      Si je comprends bien des chercheurs ont essayé de répliquer les résultats de 100 études expérimentales (il faudrait entrer dans les détails pour préciser quelles conditions initiales ont été reproduites) et 61 % des tentatives (on ne dit pas combien) se sont soldées par un échec (il faudrait aussi préciser ce qu’est un échec ; par exemple, un effet statistique non significatif ?). Si les résultats en question sont des tendances statistiques, voilà qui attire l’attention sur la nécessité pour les chercheurs de réfléchir (1) à ce qu’ils appellent des tendances statistiques et (2) aux méthodes de détection de ces tendances. Évidemment qu’une tendance statistique est un phénomène macroscopique, à l’échelle des “grands nombres”. Guetter un résultat “significatif” sur un petit échantillon d’essais pour confirmer une intuition, c’est donner beaucoup d’importance au désir de confirmer ses intuitions.
      Ensuite le rédacteur en chef du journal est cité : “… ces résultats assez décevants ne remettent pas directement en cause la validité des théories initiales”. Que doit-on entendre par “validité” ? Il me semble que cette phrase est typiquement défensive et qu’elle est possible parce qu’en psychologie on n’est pas très au clair avec ce que signifie tester une théorie. Je n’ai toujours pas compris comment tester une “hypothèse nulle” avec des méthodes statistiques consiste à tester une théorie, puisque ladite théorie ne prédit pas l’hypothèse nulle mais au contraire prédit qu’elle est fausse. C’est comme si la théorie disait : “je prédis tous les points possibles dans un certain segment de droite sauf un seul point — H0”. A ce compte-là, la théorie est hautement probable. Si mon interprétation est correcte — mais il faut prendre le temps de lire l’article –, cette étude montre qu’on a du mal à répliquer que H0 doive être rejetée selon les règles habituelles de rejet. Les problèmes épistémologiques remontent sous des formes diverses comme dans cette étude, mais, de mon point de vue, la connaissance stagne (ou le brouhaha augmente) parce qu’on se focalise sur des théories dont les prédictions pratiques (ou empiriques) sont très vagues.
      Finalement, j’espère que cette étude contribuera à revaloriser la modestie et l’honnêteté intellectuelle dans le domaine de la psychologie académique. A mes yeux, on doit attendre d’un scientifique en psychologie de nous aider à reconnaître l’ignorance objective dans laquelle nous nous trouvons étant données les situations dans lesquelles on étudie le comportement des gens, pour essayer de poser correctement les problèmes moraux (sociaux, politiques) auxquels nous sommes confrontés et dont les solutions dépendent (partiellement probablement) de nous.

      Répondre

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.