3a. Mesurer avec des réponses à des tests : définition

Définition. Si des observations (y compris les réponses à un certain nombre d’items de test) mesurent une certaine quantité d’une certaine grandeur, alors la variation des réponses dépend de la variation de cette quantité de grandeur, de telle manière qu’il soit possible de déduire d’une variation observée que la quantité de grandeur a augmenté ou diminué.

Remarque 1. Si on admet que la variabilité des observations dépend d’autres « facteurs » et si on ignore de quelle manière ces « facteurs » déterminent la variabilité des observations, alors on ne peut déduire de la variabilité observée ni une augmentation ni une diminution de la quantité de grandeur, parce qu’on ne peut exclure que les variations résultent de variations « parasites » quand la quantité de grandeur n’a pas varié.

Remarque 2. La mise au point d’instruments de mesure consiste pour une part à réduire dans des limites connues l’effet des « facteurs parasites » sur les indicateurs qu’on utilise pour déduire les variations de la quantité de grandeur qu’on veut mesurer (voir les propos de Duhem, 1906/2007 et de Trendler, 2009).

Remarque 3. Ce travail de mise au point instrumentale nécessite qu’on sache manipuler la quantité de grandeur de manière expérimentale. Par exemple, pour étudier les variations « parasites » des observations, il faut pouvoir s’assurer que la quantité de grandeur ne varie pas (ou varie de manière négligeable) pendant qu’on observe les réponses en différents moments. Pour étudier la sensibilité du dispositif de réponse aux variations de la quantité de grandeur, il faut pouvoir augmenter ou diminuer de manière de plus en plus fine la quantité qu’on veut mesurer. Dans le domaine psychotechnique : comment manipuler la quantité d’intelligence ou la quantité d’anxiété par exemple, comme on manipule la quantité de température de l’eau en « augmentant ou en diminuant le gaz » sous la casserole ?

Remarque 4. En psychologie, on appelle les tests ou les questionnaires des instruments de mesure (cf. 6a). Cette habitude de langage est trompeuse parce que si on savait mesurer quelque chose avec des réponses à un test, ce serait parce que la personne qui répond servirait d’instrument de mesure (c’est elle qui produit les réponses, pas le test). En conséquence, les psychologues scientifiquement responsables de leurs pratiques devraient cesser d’appeler les tests et les questionnaires des instruments de mesure. S’ils ne le font pas, ils contribuent à une propagande qui colporte qu’on sait mesurer avec des tests et qui montre aux personnes averties que soit ils n’ont pas d’idée claire de ce qu’est mesurer, soit ils ne rejettent pas le caractère trompeur d’une telle propagande en toute connaissance de cause (voir aussi la position de Michell, 2009).

Remarque 5. La définition proposée ci-dessus ne suffit pas pour définir ce qu’est le mesurage métrique habituellement réalisé par les instruments de mesure. La définition convient aux indicateurs qualitatifs, qui permettent un mesurage ordinal (et non pas métrique) de la grandeur qu’on cherche à mesurer. Par exemple, si des variations qualitatives obéissent à la définition, de sorte qu’on puisse déduire que la quantité de grandeur a augmenté par exemple, on ne sait pas déterminer la quantité d’augmentation : on sait seulement qu’elle est strictement positive. Le mesurage ordinal permet de parler le langage du « plus ou moins », pas du « combien en plus ou en moins ». Comme le langage ordinal est plus faible (moins contraignant) que le langage quantitatif, le mesurage métrique (fondé sur la définition d’une unité de mesure additive) implique le mesurage ordinal. Par conséquent, si on ne sait pas mesurer de manière ordinale, on ne sait pas mesurer de manière métrique.

Remarque 6. Pour autant qu’on sache décrire les manifestations de grandeurs comme l’intelligence ou l’anxiété dans un certain langage d’observation psychotechnique, ce langage n’est pas le langage du « plus ou moins », mais celui des m-uplets. La plupart des variations qu’on sait envisager de façon empirique ne se laissent appréhender ni en « plus », ni en « moins ». L’erreur scientifique des psychologues qui croient aux grandeurs comme l’intelligence ou l’anxiété est qu’ils n’admettent pas que les phénomènes qu’ils savent étudier sont d’abord des phénomènes qualitatifs (les réponses aux items des tests). Au lieu de respecter la forme de manifestation de ces phénomènes, ils les déguisent en nombres (ou scores), vendant ainsi la peau de l’ours avant de l’avoir tué : ils font comme si on pouvait parler scientifiquement en « plus ou moins » de l’intelligence ou de l’anxiété de n’importe qui, sans que cela pose le moindre problème d’authenticité (pour une autre interprétation voir, 26a). Mais la réalité, telle qu’elle se manifeste dans nos cadres descriptifs, nous apprend-elle que le langage du « plus ou moins » est approprié pour parler authentiquement des manifestations de l’intelligence ou de l’anxiété de n’importe qui ?

Conclusion. De deux choses l’une : soit l’intelligence (ou l’anxiété, ou n’importe quelle grandeur psychologique) se mesure avec les réponses à des tests, et alors un phénomène d’ordre devrait émerger des observations, et il faut réfléchir à ce à quoi cela pourrait ressembler (voir 11a ou 32a), soit on ne sait pas mesurer l’intelligence (ou l’anxiété, ou quelque grandeur psychologique que ce soit) avec les réponses à des tests.

Activités proposées autour de cet article (répondez en laissant un commentaire)

À propos de la remarque 1 : en utilisant un test, on utilise les réponses à ce test sans se rendre compte qu’on utilise les réponses au test. Le tour ainsi opéré empêche l’utilisateur de réaliser pleinement que les réponses sont inutilisables de manière logiquement valide comme des mesures. Sur quoi repose ce tour de magie ?

À propos de la remarque 2 : ce que dit Duhem (1906/2007) à propos d’un instrument de mesure est-il applicable, par exemple, à un questionnaire psychologique ? En quoi les propos de Trendler (2009) montrent-ils que le mesurage suppose une interprétation causale des observations ?

À propos de la remarque 5 : représenter la relation d’implication logique entre mesurage ordinal et mesurage métrique par un ensemble qui contient un sous-ensemble (et indiquer quoi représente quoi).

À propos de la remarque 6 : Paul a le profil de réponse (E, R, R, R, E) et Julie le profil (R, E, E, E, R) à un petit test d’intelligence, où E et R indiquent que les problèmes posés ont été échoués ou réussis, respectivement. En admettant que ces profils de réponse « reflètent », comme on dit vaguement, l’intelligence de Paul et Julie, peut-on en déduire que l’un est plus intelligent que l’autre ?

Cite this article as: Stéphane Vautier, "3a. Mesurer avec des réponses à des tests : définition", in Épistémologie de la psychologie, 15/04/2014, http://epistemo.hypotheses.org/520.


10 réflexions au sujet de « 3a. Mesurer avec des réponses à des tests : définition »

  1. Franck

    Dans la remarque 5 je ne comprends pas pourquoi le mesurage métrique implique le mesurage ordinal

    Répondre
    1. Stéphane Vautier

      Un mesurage ordinal est un mesurage qui permet de détecter des variations quantitatives (augmentation ou diminution de la quantité), mais pas de mesurer combien d’unités de mesure vaut cette variation. Un mesurage métrique permet de mesurer combien d’unités de mesure vaut une variation parce qu’on sait définir une unité de mesure, ce qui, c’est la même chose, revient à dire qu’on sait que la fonction de mesurage est affine, ce qui correspond à la notion d’échelle d’intervalle (cf. article 36a pour des détails). Autrement dit, un mesurage métrique permet aussi de détecter une augmentation ou une diminution. D’un point de vue logique, on se sert de l’implication A => B (si A, alors B), qui est équivalente à non-B => non-A (si non-B, alors non-A, contraposée) : si on ne sait pas détecter une variation quantitative (mesurage ordinal), alors on ne sait pas mesurer ce que vaut cette variation (mesurage métrique). Par la contraposée, si on sait mesurer ce que vaut une variation, alors on sait détecter cette variation. Le mesurage métrique implique le mesurage ordinal.

      Répondre
  2. Violaine

    A propos de la remarque 6: il me semble que l’on ne sait pas si des variables parasites ont influencé ce résultat. De plus, peut-on émettre une conclusion de ce type alors qu’il y a si peu d’items? (5-uplet)

    Répondre
    1. Stéphane Vautier

      Si « résultat » désigne pour vous la description des réponses au test (c’est-à-dire un m-uplet de réponses), bien sûr qu’on ignore ce qui a causé ce résultat. L’hypothèse selon laquelle cette description est une mesure est que ce résultat est dû au fait que la personne qui a produit ces réponses a une certaine quantité de ce qu’on veut mesurer, et ce n’est qu’une hypothèse, de mon point de vue invraisemblable.

      Répondre
  3. Violaine

    A propos de la remarque 5 (que je ne suis pas sure de comprendre!): si l’ensemble est l’ensemble des enfants français, le sous-ensemble des jeunes en classe de terminale. On peut imaginer qu’il y a une implication entre le mesurage de l’anxiété (ordinal) et celui de la note obtenue à l’épreuve de maths au bac?

    Répondre
    1. Stéphane Vautier

      La question de savoir si on mesure une quantité de manière ordinale ou métrique est reprise dans l’article sur la mesure de la douleur avec une échelle analogique de douleur (36a). Le point est qu’un mesurage ordinal ne permet pas de donner un sens théorique à l’addition ou à la soustraction appliquées aux nombres qui décrivent les observations qu’on sait faire. Je ne sais pas ce que vous entendez par « implication entre le mesurage de l’anxiété (ordinal) et celui de la note de math au bac », mais je peux apporter quelques remarques terminologiques. 1) On ne mesure pas les notes de math au bac (on les calcule) ; ces notes ne sont pas des mesures, elles indiquent une valeur dans une échelle de valeurs (il y a de bonnes notes et de mauvaises notes). 2) Il n’y a pas d’implication logique entre la question de savoir si l’anxiété est mesurable d’une part, et les notes de math au bac d’autre part. 3) Sans doute qu’il peut exister une corrélation entre des scores d’anxiété (qui ne sont pas des mesures) et des notes de math au bac, mais ce fait statistique n’a rien à voir avec la mesurabilité de l’anxiété par des scores d’anxiété.

      Répondre
  4. Pellichero

    A propos de la remarque 1, peut-on dire que le tour de magie consiste à poser comme prémisse que les réponses au test mesurent des quantités de grandeur? En d’autres termes que la variabilité des scores obtenus au test refléterait la variabilité de la quantité de grandeur.
    Or l’on sait que scorage et mesurage ne sont pas la même chose. Si x obtient un score de 2 sur un 6 – uplet par exemple à un test composé de 6 items dichotomiques, et y un score de 3 , cette différence ne reflète pas une différence de quantité de grandeur, mais une réponse différente à l’un ou l’autre item. Ces scores de 2 ou de 3 ne sont pas des observations puisqu’on ne sait pas a quelle quantité de grandeur correspond le 0 ou le 1 pour la personne qui répond. On ne peut du reste pas additionner des réponses qui ne font que coexister.

    Répondre
    1. Stéphane Vautier

      Pas tout à fait. On peut toujours poser une prémisse pour faire une déduction, ce qui assure sa validité. Ensuite, la vérité de la conclusion tient à celle de la prémisse. Le tour de magie consiste à se donner une théorie tautologique (la théorie classique des tests), c’est-à-dire vraie par définition, au prix d’une déformation de la notion de mesurage (mesurer, c’est scorer). Si (i) on se donne une définition compatible avec celle qui vaut pour une balance ou un thermomètre, et si (ii) on la teste, alors on falsifie la prémisse, ce qui annule l’intérêt de la validité logique de la conclusion.

      Répondre
  5. Gras Mathilde

    Pour la remarque 1 : Comment serait-il possible d’utiliser les réponses des tests, puisqu’on sait que chaque réponse vient d’un individu différent ? Aucune réponse n’a de base fixe ni commune. Les réponses ne peuvent être comparées ni étudiées ensemble. L’utilisateur qui utilise ces réponses oublie qu’il base ses résultats sur la croyance que tous les répondants sont pareils et répondent à ces tests avec les mêmes critères. Il ne sait pas en quoi ces critères sont différents, et ne peut donc pas analyser les réponses avec l’exigence de la mesure qui demande une base de travail et d’étude fixe et surtout quantifiable !
    J’espère que ma réponse est compréhensible…?

    Répondre
    1. Stéphane Vautier

      Mes commentaires à votre commentaire :
      1) En les utilisant. Parfois, les réponses peuvent venir d’une même personne si on l’observe plusieurs fois.
      2) Puisqu’on ne connaît pas la « base », sur quelles prémisses vous fondez-vous pour déduire que la base n’est pas commune ?
      3) Voir aussi la discussion dans 35a sur objectivité/subjectivité des observations.

      Répondre

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *