Archives par étiquette : expérimentation

3a. Mesurer avec des réponses à des tests : définition

Définition. Si des observations (y compris les réponses à un certain nombre d’items de test) mesurent une certaine quantité d’une certaine grandeur, alors la variation des réponses dépend de la variation de cette quantité de grandeur, de telle manière qu’il soit possible de déduire d’une variation observée que la quantité de grandeur a augmenté ou diminué.

Remarque 1. Si on admet que la variabilité des observations dépend d’autres “facteurs” et si on ignore de quelle manière ces “facteurs” déterminent la variabilité des observations, alors on ne peut déduire de la variabilité observée ni une augmentation ni une diminution de la quantité de grandeur, parce qu’on ne peut exclure que les variations résultent de variations “parasites” — dont l’existence est révélée par des variations observées quand la quantité de grandeur n’a pas varié.

Remarque 2. La mise au point d’instruments de mesure consiste pour une part à réduire dans des limites connues l’effet des “facteurs parasites” sur les indicateurs qu’on utilise pour déduire les variations de la quantité de grandeur qu’on veut mesurer (voir les propos de Duhem, 1906/2007 et de Trendler, 2009).

Remarque 3. Ce travail de mise au point instrumentale nécessite qu’on sache manipuler la quantité de grandeur de manière expérimentale. Par exemple, pour étudier les variations “parasites” des observations, il faut pouvoir s’assurer que la quantité de grandeur ne varie pas (ou varie de manière négligeable) pendant qu’on observe les réponses en différents moments. Pour étudier la sensibilité du dispositif de réponse aux variations de la quantité de grandeur, il faut pouvoir augmenter ou diminuer de manière de plus en plus fine la quantité qu’on veut mesurer. Dans le domaine psychotechnique : comment manipuler la quantité d’intelligence ou la quantité d’anxiété par exemple, comme on manipule la quantité de température de l’eau en “augmentant ou en diminuant le gaz” sous la casserole ?

Remarque 4. En psychologie, on appelle les tests ou les questionnaires des instruments de mesure (cf. 6a). Cette habitude de langage est trompeuse parce que si on savait mesurer quelque chose avec des réponses à un test, ce serait parce que la personne qui répond servirait d’instrument de mesure (c’est elle qui produit les réponses, pas le test). En conséquence, les psychologues scientifiquement responsables de leurs pratiques devraient cesser d’appeler les tests et les questionnaires des instruments de mesure. S’ils ne le font pas, ils contribuent à une propagande qui colporte qu’on sait mesurer avec des tests et qui montre aux personnes averties que soit ils n’ont pas d’idée claire de ce qu’est mesurer, soit ils ne rejettent pas le caractère trompeur d’une telle propagande en toute connaissance de cause (voir aussi la position de Michell, 2009).

Remarque 5. La définition proposée ci-dessus ne suffit pas pour définir ce qu’est le mesurage métrique habituellement réalisé par les instruments de mesure. La définition convient aux indicateurs qualitatifs, qui permettent un mesurage ordinal (et non pas métrique) de la grandeur qu’on cherche à mesurer. Par exemple, si des variations qualitatives obéissent à la définition, de sorte qu’on puisse déduire que la quantité de grandeur a augmenté par exemple, on ne sait pas déterminer la quantité d’augmentation : on sait seulement qu’elle est strictement positive. Le mesurage ordinal permet de parler le langage du “plus ou moins”, pas du “combien en plus ou en moins”. Comme le langage ordinal est plus faible (moins contraignant) que le langage quantitatif, le mesurage métrique (fondé sur la définition d’une unité de mesure additive) implique le mesurage ordinal. Par conséquent, si on ne sait pas mesurer de manière ordinale, on ne sait pas mesurer de manière métrique.

Remarque 6. Pour autant qu’on sache décrire les manifestations de grandeurs comme l’intelligence ou l’anxiété dans un certain langage d’observation psychotechnique, ce langage n’est pas le langage du “plus ou moins”, mais celui des m-uplets. La plupart des variations qu’on sait envisager de façon empirique ne se laissent appréhender ni en “plus”, ni en “moins”. L’erreur scientifique des psychologues qui croient aux grandeurs comme l’intelligence ou l’anxiété est qu’ils n’admettent pas que les phénomènes qu’ils savent étudier sont d’abord des phénomènes qualitatifs (les réponses aux items des tests). Au lieu de respecter la forme de manifestation de ces phénomènes, ils les déguisent en nombres (ou scores), vendant ainsi la peau de l’ours avant de l’avoir tué : ils font comme si on pouvait parler scientifiquement en “plus ou moins” de l’intelligence ou de l’anxiété de n’importe qui, sans que cela pose le moindre problème d’authenticité (pour une autre interprétation voir, 26a). Mais la réalité, telle qu’elle se manifeste dans nos cadres descriptifs, nous apprend-elle que le langage du “plus ou moins” est approprié pour parler authentiquement des manifestations de l’intelligence ou de l’anxiété de n’importe qui ?

Conclusion. De deux choses l’une : soit l’intelligence (ou l’anxiété, ou n’importe quelle grandeur psychologique) se mesure avec les réponses à des tests, et alors un phénomène d’ordre devrait émerger des observations, et il faut réfléchir à ce à quoi cela pourrait ressembler (voir 11a ou 32a), soit on ne sait pas mesurer l’intelligence (ou l’anxiété, ou quelque grandeur psychologique que ce soit) avec les réponses à des tests.

Activités proposées autour de cet article (répondez en laissant un commentaire)

À propos de la remarque 1 : en utilisant un test, on utilise les réponses à ce test sans se rendre compte qu’on utilise les réponses au test. Le tour ainsi opéré empêche l’utilisateur de réaliser pleinement que les réponses sont inutilisables de manière logiquement valide comme des mesures. Sur quoi repose ce tour de magie ?

À propos de la remarque 2 : ce que dit Duhem (1906/2007) à propos d’un instrument de mesure est-il applicable, par exemple, à un questionnaire psychologique ? En quoi les propos de Trendler (2009) montrent-ils que le mesurage suppose une interprétation causale des observations ?

À propos de la remarque 5 : représenter la relation d’implication logique entre mesurage ordinal et mesurage métrique par un ensemble qui contient un sous-ensemble (et indiquer quoi représente quoi).

À propos de la remarque 6 : Paul a le profil de réponse (E, R, R, R, E) et Julie le profil (R, E, E, E, R) à un petit test d’intelligence, où E et R indiquent que les problèmes posés ont été échoués ou réussis, respectivement. En admettant que ces profils de réponse “reflètent”, comme on dit vaguement, l’intelligence de Paul et Julie, peut-on en déduire que l’un est plus intelligent que l’autre ?