Archives de l’auteur : Stéphane Vautier

3a. Mesurer avec des réponses à des tests : définition

Définition. Si des observations (y compris les réponses à un certain nombre d’items de test) mesurent une certaine quantité d’une certaine grandeur, alors la variation des réponses dépend de la variation de cette quantité de grandeur, de telle manière qu’il soit possible de déduire d’une variation observée que la quantité de grandeur a augmenté ou diminué.

Remarque 1. Si on admet que la variabilité des observations dépend d’autres « facteurs » et si on ignore de quelle manière ces « facteurs » déterminent la variabilité des observations, alors on ne peut déduire de la variabilité observée ni une augmentation ni une diminution de la quantité de grandeur, parce qu’on ne peut exclure que les variations résultent de variations « parasites » quand la quantité de grandeur n’a pas varié.

Remarque 2. La mise au point d’instruments de mesure consiste pour une part à réduire dans des limites connues l’effet des « facteurs parasites » sur les indicateurs qu’on utilise pour déduire les variations de la quantité de grandeur qu’on veut mesurer (voir les propos de Duhem, 1906/2007 et de Trendler, 2009).

Remarque 3. Ce travail de mise au point instrumentale nécessite qu’on sache manipuler la quantité de grandeur de manière expérimentale. Par exemple, pour étudier les variations « parasites » des observations, il faut pouvoir s’assurer que la quantité de grandeur ne varie pas (ou varie de manière négligeable) pendant qu’on observe les réponses en différents moments. Pour étudier la sensibilité du dispositif de réponse aux variations de la quantité de grandeur, il faut pouvoir augmenter ou diminuer de manière de plus en plus fine la quantité qu’on veut mesurer. Dans le domaine psychotechnique : comment manipuler la quantité d’intelligence ou la quantité d’anxiété par exemple, comme on manipule la quantité de température de l’eau en « augmentant ou en diminuant le gaz » sous la casserole ?

Remarque 4. En psychologie, on appelle les tests ou les questionnaires des instruments de mesure (cf. 6a). Cette habitude de langage est trompeuse parce que si on savait mesurer quelque chose avec des réponses à un test, ce serait parce que la personne qui répond servirait d’instrument de mesure (c’est elle qui produit les réponses, pas le test). En conséquence, les psychologues scientifiquement responsables de leurs pratiques devraient cesser d’appeler les tests et les questionnaires des instruments de mesure. S’ils ne le font pas, ils contribuent à une propagande qui colporte qu’on sait mesurer avec des tests et qui montre aux personnes averties que soit ils n’ont pas d’idée claire de ce qu’est mesurer, soit ils ne rejettent pas le caractère trompeur d’une telle propagande en toute connaissance de cause (voir aussi la position de Michell, 2009).

Remarque 5. La définition proposée ci-dessus ne suffit pas pour définir ce qu’est le mesurage métrique habituellement réalisé par les instruments de mesure. La définition convient aux indicateurs qualitatifs, qui permettent un mesurage ordinal (et non pas métrique) de la grandeur qu’on cherche à mesurer. Par exemple, si des variations qualitatives obéissent à la définition, de sorte qu’on puisse déduire que la quantité de grandeur a augmenté par exemple, on ne sait pas déterminer la quantité d’augmentation : on sait seulement qu’elle est strictement positive. Le mesurage ordinal permet de parler le langage du « plus ou moins », pas du « combien en plus ou en moins ». Comme le langage ordinal est plus faible (moins contraignant) que le langage quantitatif, le mesurage métrique (fondé sur la définition d’une unité de mesure additive) implique le mesurage ordinal. Par conséquent, si on ne sait pas mesurer de manière ordinale, on ne sait pas mesurer de manière métrique.

Remarque 6. Pour autant qu’on sache décrire les manifestations de grandeurs comme l’intelligence ou l’anxiété dans un certain langage d’observation psychotechnique, ce langage n’est pas le langage du « plus ou moins », mais celui des m-uplets. La plupart des variations qu’on sait envisager de façon empirique ne se laissent appréhender ni en « plus », ni en « moins ». L’erreur scientifique des psychologues qui croient aux grandeurs comme l’intelligence ou l’anxiété est qu’ils n’admettent pas que les phénomènes qu’ils savent étudier sont d’abord des phénomènes qualitatifs (les réponses aux items des tests). Au lieu de respecter la forme de manifestation de ces phénomènes, ils les déguisent en nombres (ou scores), vendant ainsi la peau de l’ours avant de l’avoir tué : ils font comme si on pouvait parler scientifiquement en « plus ou moins » de l’intelligence ou de l’anxiété de n’importe qui, sans que cela pose le moindre problème d’authenticité (pour une autre interprétation voir, 26a). Mais la réalité, telle qu’elle se manifeste dans nos cadres descriptifs, nous apprend-elle que le langage du « plus ou moins » est approprié pour parler authentiquement des manifestations de l’intelligence ou de l’anxiété de n’importe qui ?

Conclusion. De deux choses l’une : soit l’intelligence (ou l’anxiété, ou n’importe quelle grandeur psychologique) se mesure avec les réponses à des tests, et alors un phénomène d’ordre devrait émerger des observations, et il faut réfléchir à ce à quoi cela pourrait ressembler (voir 11a ou 32a), soit on ne sait pas mesurer l’intelligence (ou l’anxiété, ou quelque grandeur psychologique que ce soit) avec les réponses à des tests.

Activités proposées autour de cet article (répondez en laissant un commentaire)

À propos de la remarque 1 : en utilisant un test, on utilise les réponses à ce test sans se rendre compte qu’on utilise les réponses au test. Le tour ainsi opéré empêche l’utilisateur de réaliser pleinement que les réponses sont inutilisables de manière logiquement valide comme des mesures. Sur quoi repose ce tour de magie ?

À propos de la remarque 2 : ce que dit Duhem (1906/2007) à propos d’un instrument de mesure est-il applicable, par exemple, à un questionnaire psychologique ? En quoi les propos de Trendler (2009) montrent-ils que le mesurage suppose une interprétation causale des observations ?

À propos de la remarque 5 : représenter la relation d’implication logique entre mesurage ordinal et mesurage métrique par un ensemble qui contient un sous-ensemble (et indiquer quoi représente quoi).

À propos de la remarque 6 : Paul a le profil de réponse (E, R, R, R, E) et Julie le profil (R, E, E, E, R) à un petit test d’intelligence, où E et R indiquent que les problèmes posés ont été échoués ou réussis, respectivement. En admettant que ces profils de réponse « reflètent », comme on dit vaguement, l’intelligence de Paul et Julie, peut-on en déduire que l’un est plus intelligent que l’autre ?

Cite this article as: Stéphane Vautier, "3a. Mesurer avec des réponses à des tests : définition", in Épistémologie de la psychologie, 15/04/2014, https://epistemo.hypotheses.org/520.

2a. Commentaire de la tribune d’Allouche dans Le Monde

Jean-Paul Allouche a eu l’amabilité de me transmettre un pdf de sa récente tribune publiée dans Le Monde, « Connaître n’est pas mesurer ». Où l’on voit que la question du mesurage en psychologie s’inscrit dans une problématique sociétale plus large — voir aussi Gingras (2014), Gori (2014), Porter (1995) et Stengers (2013, chapitre 3).

On lit dans la tribune :

Destinés au début à contourner l’oxymore de la « quantification de la qualité », [les indices] devinrent progressivement sacro-saints. Personne ne remet en cause (ou si peu) [leur] fabrication …, encore moins leur existence, ni même leur fondement épistémologique. … la mise en place et la « sanctification » de ces indices ne sont possibles que grâce à la complicité, volontaire ou pas, des individus à qui on les applique. Même lorsque ces derniers pourraient avoir le choix de contester le bien-fondé ou l’utilisation de ces critères quantitatifs, ou même lorsqu’ils en comprennent parfaitement le fonctionnement pervers, ils les acceptent, par passivité, de peur de déplaire aux « décideurs » ou parce qu’ils comptent bien tirer leur épingle du jeu… au détriment de leurs pairs.

En psychologie, on peut se demander si le cursus de formation méthodologique permet aux étudiants de contester le bien-fondé de l’utilisation des scores psychotechniques à diverses fins. Il est même possible que les responsables pédagogiques de Master voient dans le testage psychotechnique un moyen de booster l’employabilité des futurs psychologues qu’ils livrent sur le marché du travail. Il ne s’agit pas d’affirmer sans discernement que les scores psychotechniques doivent être systématiquement boycottés, mais je rejoins Allouche quant à leur caractère sacro-saint : pas question de se demander s’ils procèdent de lois scientifiques particulières, en particulier des lois d’ordre nécessaires au mesurage (voir la définition du mesurage), et donc pas moyen de s’apercevoir qu’ils ne mesurent rien, tout en assujettissant les personnes mesurées à des normes évaluatives qui fonctionnent comme un contexte naturel. Comme c’est le cas pour un contexte économique, un tel contexte est sujet à révision collective dès lors qu’il est plus nocif qu’utile, pourvu que le collectif possède les moyens intellectuels de cette révision. D’où la dimension éminemment politique de l’évaluation psychotechnique, puisqu’il s’agit alors de discuter ce qui est utile (bon, mais pour qui ?) et nocif.

Références

Allouche, J.-P. (2014, 29 janvier). Connaître n’est pas mesurer. Le Monde. Retrouvé à http://www.lemonde.fr/sciences/article/2014/01/27/connaitre-n-est-pas-mesurer_4355221_1650684.html
Gingras, Y. (2014). Les dérives de l’évaluation de la recherche : du bon usage de la bibliométrie. Paris : Raisons d’agir.
Porter, T. M. (1995). Trust in numbers: The pursuit of objectivity in science and public life. Princeton, NJ: Princeton University Press.
Stengers, I. (2013). Une autre science est possible ! Manifeste pour un ralentissement des sciences. Paris : La Découverte.

Cite this article as: Stéphane Vautier, "2a. Commentaire de la tribune d’Allouche dans Le Monde", in Épistémologie de la psychologie, 14/04/2014, https://epistemo.hypotheses.org/502.

1a. On ne sait mesurer aucune grandeur psychologique avec des réponses à des tests : faux, vrai, je ne sais pas

Je prétends qu’on ne sait mesurer aucune grandeur psychologique avec des réponses à des tests (psychotechniques). Si j’ai raison, l’idée reçue que les tests permettent de mesurer des grandeurs psychologiques (l’intelligence, l’anxiété etc.) est fausse. Comment se fait-il qu’une telle opinion soit majoritaire en psychologie dite scientifique (mais voir le sondage « Opinions psychotechniques ») ?

Si j’ai tort, qu’on me montre comment on fait pour mesurer au moins une grandeur psychologique avec les réponses d’au moins une personne à au moins un test. Si j’ai raison, et si l’opinion contraire est majoritaire (ce que je crois), comment se fait-il que la majorité se trompe ?

Voici une liste de confusions logiques et d’attitudes intellectuelles qui peuvent aider à comprendre ce qui se passe :

1. Confusions logiques ou sémantiques
1.1. Mesurer c’est noter (ou mettre un score, cf. l’article 10a).
1.2. Ce qui est valable en moyenne pour une liste de cas est valable pour tout cas de la liste.
1.3. Mon degré de croyance en un état E à l’instant t d’un certain objet est la probabilité de cet état E à l’instant t pour cet objet.
1.4. L’addition, c’est pareil que la conjonction (+ = et) ; voir aussi Jacquard (1991, chapitre « L’économie de marché, masque de la réalité »).

2. Mots d’ordre intellectuels
2.1. Il faut hiérarchiser (x est plus que, moins que, ou égal à y).
2.2. Comme on ne saura jamais si une théorie scientifique est vraie, seul compte ce qu’il faut croire pour pouvoir agir ou décider.
2.3. Dans le doute, il vaut mieux croire ce que dit l’autorité (scientifique ou académique).

Il me paraît nécessaire de régler la question pour des raisons plus profondes, qui touchent à ce que les psychologues scientifiques font de la science psychologique. La version officielle en psychologie scientifique, « on sait mesurer avec (des réponses à) des tests », tient grâce à un paradigme qui force ses membres à accepter une fausse idée de ce qu’est l’esprit scientifique : chercher, c’est faire comme « on » nous dit de faire (par opposition à assumer sa liberté intellectuelle pour apporter une contribution aux connaissances actuelles). En soutenant que j’ai raison, je m’attaque à quelques piliers du paradigme, donc j’attaque le paradigme (voir Morin).

Le paradigme de la psychologie scientifique est une forme d’utilitarisme socio-technique, qui légitime la recherche en psychologie par le fait qu’elle est supposée servir à quelque chose dans le champ social. Je ne nie pas les problèmes sociaux, je conteste que la justification des solutions adoptées pour faire face à ces problèmes sociaux puisse reposer entièrement sur les connaissances scientifiques en psychologie. La justification d’une politique (d’action) face à un problème social relève par définition de la politique, c’est-à-dire de la pratique du pouvoir — et la justification d’une pratique de pouvoir relève de l’éthique, c’est-à-dire de ce qui est bien ou mal, préférable ou indésirable — tandis que la justification des théories scientifiques relève de la vérité, ce qui entraîne qu’un scientifique est essentiellement utile pour démolir des théories. Dans cette perspective politique, le paradigme contraint ses membres à (se) faire croire qu’ils savent des choses valorisées par « le pouvoir », alors que la démarche scientifique, appliquée à ce que Gilles-Gaston Granger (1995) appelle le fait humain, consiste à élaborer notre ignorance, pour espérer en tirer quelque sagesse, comme George Canguilhem (1958) l’a bien analysé il y a plus d’un demi-siècle.

Activités proposées autour de cet article : répondre à et pour soi-même à la question formulée dans le titre, répondre aux deux questions « psychotechniques » du sondage, rédiger un commentaire.

Références

Canguilhem, G. (1958). Qu’est-ce que la psychologie ? Revue de Métaphysique et de Morale, 1, 12-25.
Granger, G.-G. (1995). La science et les sciences (2de éd.). Paris : Presses Universitaires de France.

0a. Pour un précis de méthodologie à l’usage des psychologues qui réfléchissent librement

Le temps est venu de contribuer à un débat critique publique sur la méthodologie de la recherche scientifique en psychologie. J’espère attirer l’attention des personnes intéressées par la manière dont on fait de la recherche en psychologie, afin qu’elles puissent commenter en toute liberté les idées qu’il s’agit de préciser et d’organiser dans un livre de méthodologie de la recherche en psychologie.

La discussion publique que permet Internet me semble utile à l’élaboration d’un tel ouvrage. A mes yeux, il ne s’agit pas de réfléchir dans son coin puis de « publier », mais de formuler des critiques et des propositions déjà éprouvées par une discussion informelle au sein d’une communauté de personnes qui, à un moment ou à un autre, se trouvent concernées. Je souhaite donner une légitimité tant aux affirmations (par principe contestables) qu’aux questions (par principe plus ou moins bien formulées).

Vous pouvez contribuer à la discussion en proposant des commentaires aux différents « articles » que je vais publier (à commencer par celui-ci), qui seront indexés dans la catégorie « Projet de précis ». J’assume le rôle de modérateur, c’est-à-dire que je décide de les publier ou de ne pas les publier. (Je ne sais pas exactement ce qui pourrait m’empêcher de publier un commentaire.)

Max Amadeus Notturno on Science

Today science itself has become a social problem that is widely discussed by social scientists in the social sciences. Today the social scientists say that science is a social institution and that the sociological aspects of it are what count most in the social decision to accept or reject a theory. They tell us that truth and rationality are social constructs that do not really exist, and that the cognitive authority for our scientific theories–which is a social construct that does still manage to exist–depends upon nothing more than the solidarity of the scientific community that maintains it. They say that science begins where criticism leaves off, that ‘normal’ scientists must commit themselves to their beliefs, and that those who criticize them too persistently are and ought to be expelled from the scientific community. (pp. 255-256)

Notturno, M. A. (2000). Science and the open society: The future of Karl Popper’s philosophy. Budapest: Central European Univeristy Press.

Voir aussi Horkheimer & Adorno (1974), Kundera (1984), Morin (2008)

Pierre Rosanvallon à propos des tests psychologiques

Le culte américain des tests, après celui de la phrénologie, a constitué un parfait révélateur de la grande contradiction qui a sous-tendu l’histoire des démocraties capitalistes libérales : la coexistence d’une philosophie égalitaire fondatrice et d’une réalité sociale marquée par de fortes inégalités. C’est en Amérique que cette tension a été la plus vive. Et c’est donc là que la tentation de naturaliser l’inégalité a été la plus manifeste. En étant de la sorte « désocialisée », l’inégalité a pu prospérer dans un monde viscéralement attaché à l’idée que tous les hommes avaient été créés égaux. Elle n’a cessé d’être légitimée en étant massivement rapportée au seul mérite individuel et aux seuls talents hérités. (p. 145)

Rosanvallon, P. (2011). La société des égaux. Paris : Seuil.

Mark Amadeus Notturno on validity

The validity of an argument means only that it is logically impossible for its premisses to be true and its conclusion false. And this means only that it is logically necessary that either one or more [of] its premises are false or its conclusion is true … A valid argument is not so much a proof as a choice. It presents the critical thinker with a set of mutually exclusive alternatives between which he must choose. He can choose either to accept the premisses of the argument, in which case he must also accept its conclusion; or to reject (or suspend judgment concerning) the premisses of the argument, in which case he need[s] do nothing at all vis-à-vis its conclusion. The critical thinker can decide to do any of these things. But the work of the argument is to show him that he cannot, without contradicting himself, choose to both accept its premises and reject its conclusion. (pp. 133-134)

Notturno, M. A. (2000). Science and the open society: The future of Karl Popper’s philosophy. Budapest: Central European Univeristy Press.

Binet et Simon donnent des exemples de lois psychologiques

En fait, tout enfant qui trouve sa bouche et son nez quand on les nomme devant lui trouve également les objets qu’on lui fait chercher dans une image, à la condition bien entendu que ces objets lui soient familiers, et soient dessinés avec une correction suffisante. (p. 4)

Un enfant de trois ans répète une phrase de 6 syllabes, il n’en répèterait pas une de 10. (p. 7)

[…] un enfant de 3 ans, qui peut répéter une phrase de 6 mots, ne va pas au-delà de 2 chiffres. (p. 7)

Binet, A., & Simon, T. (1907). Le développement de l’intelligence chez les enfants. L’Année Psychologique, 14, 1-94.

Max Horkheimer et Theodor W. Adorno sur le conformisme

La crainte qu’éprouve le fils authentique de la civilisation moderne à l’idée de s’éloigner des faits qui sont déjà schématiquement préformés par les conventions dominantes de la science, du commerce et de la politique, est la même que la crainte qu’inspire la déviation sociale. (p. 16)

Horkheimer, M., & Adorno, T. W. (1974). La dialectique de la raison. Paris : Gallimard.

Voir aussi Kundera (1984), Morin (2008), Notturno (2000).

Norwood Russell Hanson on data analysis

Scientists are not like manufacturers of ball-bearing toy skates. It is not ‘quality and quantity control’ but understanding which is (should be) science’s primary objective.

Hanson, N. R. (1971). Observation and explanation: A guide to philosophy of science. New York: Harper & Row.

Joel Michell on psychometricians

… the fact that psychometricians, from the founding of their discipline, studiously turned away from investigating whether the attributes they aspired to measure really are quantitative means that their discipline is a pathological science (Michell, 2000) and that their standing as scientists is deeply compromised. Scientists who care more about appearing to be quantitative and the advantages that might accrue from that appearance, than they do about investigating fundamental scientific issues, put expedience before the truth. In this, they do not conform to the values of science and elevate non-scientific interests over those values, thereby threatening to bring science as a whole into disrepute. If the attributes that psychometricians aspire to measure are heterogeneous orders then psychometrics, as it exists at present, is fatally flawed and destined to join astrology, alchemy, and phrenology in the dustbin of history. (p. 7)

Michell, J. (2012). Alfred Binet and the concept of heterogeneous orders. Frontiers in Psychology, 3, Article 261.

Alfred Binet et Th. Simon sur la méthode scientifique

On nous a quelquefois reproché d’être avec aveuglement les ennemis de la théorie et de l’a priori. C’est un reproche injuste. Nous admettons les discussions de théorie, avant les recherches expérimentales, pour les préparer, et après, pour les interpréter ; ce que nous repoussons de toutes nos forces, ce sont les discussions théoriques qui veulent remplacer l’exploration des faits, ou qui s’établissent sur des faits obscurs, équivoques, légendaires, qu’on va recueillir dans des lectures, car c’est là ce que certaines gens appellent observer : c’est lire. L’idéal de la méthode scientifique doit être, à notre avis, une collaboration de la théorie et de l’expérimentation, collaboration bien précisée dans la formule suivante : une méditation prolongée sur des faits recueillis de première main. (Note 1)

Binet, A., & Simon, T. (1907). Le développement de l’intelligence chez les enfants. L’Année Psychologique, 14, 1-94.

Aaro Toomela on neo-Galtonian methodology

Studies where results are limited to only group differences and/or correlations between variables cannot go beyond probabilisitc prediction. The nature of a relationship or a difference between groups cannot be understood unless all exceptions are understood. So, for example, all reports of sex differences, race differences, or differences between cultures should not be attributed to sex, race, or culture, respectively, unless the exceptions are addressed. (p. 13)

Toomela, A. (2007). Culture of science: Strange history of the methodological thinking in psychology. Integrative Psychological and Behavioral Science, 41, 6-20.