9a. Les réponses à des items de test sont des mesures : convention, falsifiabilité, validité

Lorsqu’on affirme que les réponses à un certain item de test mesurent une grandeur, on affirme une convention. On propose aux membres d’un collectif d’accepter une façon de parler. Refuser ou accepter cet usage linguistique n’est pas une question empirique, on ne peut pas fonder son refus sur la base de faits d’observation qui viendraient contredire cela (voir aussi Popper).

Lorsqu’on affirme que les réponses à deux (ou plus) items mesurent la même grandeur, on affirme aussi une convention. D’un point de vue expérimental, les réponses aux items correspondent à des moments successifs et on ne dit pas que la quantité de la grandeur qui détermine la réponse au premier item est la même que la quantité de la grandeur qui détermine la réponse au deuxième item (etc.).

Cependant, un test psychotechnique est une collection d’items, c’est-à-dire qu’on adopte une convention supplémentaire. On affirme que la quantité qui détermine la réponse à tout item du test ne varie pas dans l’intervalle de temps nécessaire pour obtenir les réponses — sinon, on ne dirait pas que le test mesure une quantité de la grandeur. On affirme une convention qui rend falsifiable l’affirmation que les items du test mesurent la même quantité de la même grandeur. Des notations sont utiles pour mettre en évidence la structure logique (hypothético-déductive) de l’argument.

Soit une population donnée d’unités d’observation telle que quelle que soit une unité d’observation,
A : la réponse à l’item I1 mesure une quantité q1 de la grandeur Q,
B : la réponse à l’item I2 mesure une quantité q2 de la grandeur Q,
C : dans un intervalle de temps inférieur (ou égal) à dt (le temps nécessaire à la passation des items en question), la quantité de la grandeur Q ne varie pas (i.e., q1 = q2 = q).

D : si A et B et C, alors les réponses aux deux items lorsque ceux-ci sont utilisés dans dt, forment un 2-uplet et les 2-uplets qu’on peut observer dans la population statistique à laquelle on s’intéresse obéissent à une loi d’ordre simple : deux 2-uplets distincts issus de cette population sont comparables : l’un est inférieur à l’autre (voir aussi 11a, 31a).

Voici un argument valide, c’est-à-dire que la conclusion (D) découle logiquement de la prémisse (A et B et C).

En développant ce qu’est une loi d’ordre simple, on va s’apercevoir que la prémisse est testable, parce qu’il existe au moins un fait d’observation possible qui contredit la prémisse (11a). Ce fait d’observation possible est un falsificateur (Popper, 1973). Comme l’hypothèse « A et B et C » est falsifiable, c’est une hypothèse scientifique.

Comment utiliser la testabilité de l’hypothèse ? Tout argument de type « si prémisse alors conclusion  » est équivalent à « si non-conclusion alors non-prémisse » (voir aussi Notturno, 2000, sur la validité). Supposons qu’on observe une réponse aux deux items qui falsifie la prémisse « A et B et C ». Alors « non-(A et B et C) », c’est-à-dire qu’au moins une des trois propositions A, B ou C est fausse. Puisque C est vraie par convention (i.e., on ne touche pas à sa valeur de vérité pour des raisons de falsifiabilité), soit la réponse à l’item I1 ne mesure pas la quantité q de la grandeur Q, soit la réponse à l’item I2 ne mesure pas la quantité q de la grandeur Q, soit la réponse aux deux items ne mesure pas la quantité q de la grandeur Q.

Tout cela peut demander un certain travail, inutile si on refuse ce qu’il faut admettre pour soutenir l’hypothèse : il faut admettre que les réponses ne dépendent que de la quantité à mesurer (voir la définition du mesurage), ce qui, dans la communauté des psychologues, est considéré comme quelque chose d’intenable — les psychologues sont les premiers à reconnaître que la réponse à un item de test résulte d’un processus hyper-complexe qu’on ne comprend pas.

D’où un point de bifurcation. (1) 0n peut, pour l’exercice, montrer que l’hypothèse « les réponses aux deux (ou plus) items mesurent une quantité de la grandeur » est vouée à la falsification, en comptant sur la bonne foi des observateurs qui seront témoins d’observations falsifiantes (voir les articles 12a et 13a). C’est très intéressant parce qu’en psychologie, à mon humble avis, on n’a pas l’habitude de raisonner de cette manière alors que c’est possible et instructif.

(2) On peut s’intéresser à ce qui permet aux psychologues de croire d’un côté qu’on sait mesurer avec des réponses à des tests et d’un autre côté que les réponses à des tests dépendent d’une myriade de facteurs inconnus. On doit alors aborder la théorie classique des tests puis la théorie de la réponse à l’item, c’est-à-dire plonger dans une certaine utilisation du langage des probabilités. C’est très intéressant parce qu’on voit comment la notion de probabilité peut être utilisée de manière à faire croire qu’on sait des choses alors même qu’on est en train de raconter qu’on ne sait pas expliquer ce qui se produit, et comment on confond l’interlocuteur (et soi-même) en passant sans prévenir d’une classe de référence à une autre (pour une analyse approfondie, voir 25a).

Si on veut tout de suite sortir du musée psychométrique, il suffit de retenir que les approches psychométriques mentionnées ne permettent pas de déduire quoi que ce soit des réponses qu’on peut observer — à l’échelle d’une personne. En d’autres termes, les modèles psychométriques sont infalsifiables — à l’échelle d’une personne. En tant que domaine d’application pour la modélisation statistique, la psychométrie introduit une norme épistémologique nouvelle dans le champ des sciences empiriques : si on ne peut déduire quoi que ce soit d’une théorie psychométrique, il est acceptable de deviner (plutôt que ne rien dire du tout), en utilisant une théorie statistique de la meilleure estimation (par exemple, la maximisation de la vraisemblance). Mais même si elle est statistique, une méthode de divination reste une méthode de divination.


Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.