Archives par étiquette : mesurabilité

35a. Observations objectives vs. subjectives

A telle heure, Paul répond « non » à l’item « Je me sens fatigué(e) » ; beaucoup de gens, considérant qu’il s’agit d’une observation subjective, concluent que la vérité scientifique n’est pas à l’ordre du jour en psychologie, puisqu’il n’est question que de subjectivité (ou d’humain). C’est aller trop vite en besogne et le contre-sens méthodologique n’est pas loin. Dans ce billet, il s’agit de soutenir que l’énoncé d’observation

à telle heure, Paul a répondu « non » à cet item

est une observation objective1.

Certes, l’opacité de ce « non » doit être reconnue. Il faut supposer que pour répondre à l’item, Paul s’auto-considère, se regarde lui-même, se prend lui-même pour objet. Le vécu (pensées, émotions, sentiment de soi) de Paul ne peut être vécu par autrui. En prêtant attention à Paul, une tierce personne produit, du moins nous le supposons, des pensées, des émotions, un sentiment d’elle-même, qui incluent des cogitations sur ce que Paul peut ressentir. Je ne vois pas ce qui permet de comparer le vécu de Paul et le vécu que nous éprouvons quand nous nous intéressons au vécu de Paul, puisque précisément, on ne sait objectiver ces vécus, c’est-à-dire les abstraire des personnes qui en sont le siège, que par des mots (ou par d’autres formes de production comme le dessin, la musique, etc., mais alors ce n’est plus du langage à proprement parler)2.

Pour essayer d’établir ce à quoi « non » réfère chez Paul, faudrait-il revenir à l’introspection comme technique d’observation (e.g., Petitmengin & Bitbol, 2009 ; Silvia & Gendolla, 2001) ? Quoiqu’il en soit, on comprend la tentation de signaler l’indétermination référentielle du « non » de Paul par la locution « observation subjective » : on ne peut pas se substituer à Paul qui est l’unique observateur de son vécu.

Dans toutes les discussions concernant le problème du mesurage d’une grandeur psychologique, l’observateur est le psychologue. Et ce que le psychologue observe, c’est une réponse à un item de test — rien d’autre, il ne faut pas se laisser distraire, ici, par l’objection qui consiste à dire que pas du tout, le psychologue observe bien d’autres choses lorsqu’il fait passer le test ; il perçoit bien sûr bien d’autres choses, mais il ne les observe pas, au sens où une observation objective implique l’utilisation d’un langage descriptif donné (un référentiel de description).

Ce qui nous conduit à préciser en quoi une observation peut être objective (voir aussi 8a, 24a). Appelons P cette observation. P est objective pour un ensemble d’observateurs potentiels si quel que soit un observateur potentiel de cet ensemble, P est vraie pour lui dès qu’il observe (i) Paul en train de répondre ou bien (ii) la réponse de Paul — jugement de vérité qui est un jugement subjectif. Vous prenez n’importe qui, vous lui montrez la feuille de réponse de Paul et vous vérifiez qu’il affirme bien que la réponse à cet item est « non » (laquelle vérification est, inévitablement, subjective). L’objectivité, ici, n’est rien d’autre que l’espoir de l’interchangeabilité des sujets lorsqu’ils forment un jugement de vérité concernant un énoncé d’observation qui décrit un phénomène (qui se passe, mais qu’on ne saisit, pour l’activité scientifique, que par des propositions, des phrases, des énoncés). Pour éviter de confondre cette objectivité-là avec une idée absolue ou encore totalisante de l’objectivité, je parle d’objectivité au sens faible.

Autrement dit, l’objet de la connaissance objective est ici non pas ce que Paul a ressenti, mais ce qu’il a répondu. Si on se sert de sa réponse pour mesurer par exemple sa quantité de fatigue, cette quantité de fatigue est une fiction, un point de [0, max] (qu’on peut projeter dans ou sur le réel, mais cela n’est pas nécessaire, on peut très bien considérer qu’une théorie scientifique puisse ne pas correspondre totalement au réel3). Si on imagine qu’on mesure une quantité, se pose la question de la mesurabilité de la fatigue définie comme quantité, c’est-à-dire des conditions qui permettent de croire que la variation des réponses observées dépende de la variation de la quantité de fatigue (cf. 3a). L’important est que si on prétend mesurer la fatigue avec des réponses à un ou des items de fatigue, on soit lucide sur le fait que le vécu « fatigue » n’est logiquement pas pertinent parce que le vécu n’est pas une grandeur. Et si on s’intéresse au vécu ou encore au ressenti plutôt qu’à une quantité de grandeur, alors il  faut se poser la question des conditions de possibilité d’une connaissance objective de ce ressenti — vaste programme, qui ne relève pas du mesurage.

Références

Petitmengin, C., & Bitbol, M. (2009). The validity of first-person descriptions as authenticity and coherence. Journal of Consciousness Studies, 16, 363-404.

Silvia, P. J., & Gendolla, G. H. E. (2001). On the introspection and self-perception: Does self-focused attention enable accurate self-knowledge? Review of General Psychology, 5, 241-269.

  1. Au sens faible du terme, i.e., la vérité de cette observation n’est pas la Vérité absolue. []
  2. Partager l’idée d’un sentiment douloureux de solitude avec autrui ne change rien au fait que l’autre n’éprouve pas ce que nous éprouvons parce qu’il n’est pas nous. []
  3. Parce que nous faisons partie du réel et que nous ne pouvons pas être tout à la fois objet et sujet de l’appréhension de nous-mêmes — la partie qui appréhende n’étant pas simultanément appréhendée, ce qui entraîne qu’une partie du réel nous échappe nécessairement. []

22a. La probabilité de réussir l’item

Les modèles psychométriques de réponse à l’item reposent sur la notion de probabilité de réussir un item. Cet article explore cette notion dans une perspective épistémologique plutôt que psychométrique (c’est-à-dire statistique). Adopter une perspective épistémologique consiste ici à se demander (i) comment on fait pour savoir quelque chose à partir de la notion de probabilité et (ii) si ce savoir est falsifiable. La conclusion de l’article est qu’un modèle de réponse à l’item (MRI) ne fournit pas un savoir falsifiable sur les différences quantitatives invoquées par le modèle. Si les réponses aux items étaient des mesures (ordinales), les modèles probabilistes de réponse à l’item seraient superflus. Et si on est au clair avec le fait que ces modèles ne sont pas des modèles de mesurage, leur utilité demeure ambigüe et doit être précisée (Vautier, Veldhuis, Lacot, & Matton, 2012). Je remercie par avance chaleureusement tous les commentateurs férus de psychométrie, statistique ou autres probabilités qui voudraient bien me critiquer.

1. La vérité de la proposition « la probabilité que Paul réussisse cet item à ce moment vaut 0,8 »

Comment fait-on pour savoir si cette proposition est vraie ou fausse ? Prenons n’importe quelle valeur p dans ]0, 1[, la phrase « la probabilité que Paul réussisse cet item à ce moment vaut p » est infalsifiable parce qu’elle implique « Paul va échouer ou réussir », ce qui est une tautologie. Donc la réponse à la question est : je ne sais pas (cf. Vautier, 2012).

Si on donne les valeurs 0 ou 1 à p, alors au moins une des deux phrases est fausse. Si Paul réussit alors que p = 0 la phrase est fausse ; idem si Paul échoue alors que p = 1.

Pas si simple ? Essayons encore et considérons la phrase « la probabilité que Paul réussisse cet item à ce moment vaut 10-20 ». Minuscule probabilité, qui indique que la possibilité de réussite est infime et qu’on peut, comme dirait un ami dont l’érudition psychométrique est immense, raisonnablement croire que Paul va échouer. En d’autres termes, on serait très surpris que Paul réussisse. Et donc on ne parierait pas sur la réussite de Paul si on fait confiance à celui qui indique une telle probabilité. Dans cette histoire, il s’agit de la confiance qu’on a dans celui qui énonce la probabilité.

Remontons à la prémisse. Comment fait-on pour savoir la valeur de la probabilité ? Par déduction mais alors à partir de quelles prémisses ? Au secours Valéry ! Par la connaissance empirique pertinente ? On ne peut que connaître des fréquences, ce qu’il faut développer.

2. Pile ou face et la loi binomiale : ça « marchotte »

« La probabilité que la pièce de monnaie qui se trouve devant moi tombe sur pile quand je vais la lancer vaut 0,1 ». On ne dispose d’aucune connaissance empirique puisque le lancer n’a pas eu lieu, ni de connaissance physique sur le centre de gravité de la pièce. Autrement dit, on dit qu’on ne sait pas et le surplus de sens est une information non pas sur la pièce de monnaie mais sur l’intention de celui qui parle (du registre « je ne parierais pas sur pile, faites comme moi »).

On peut adopter un point de vue empiriste, en faisant appel à une classe de référence, ou encore, c’est la même chose, une population statistique, c’est-à-dire un ensemble de lancers différents de la même pièce de monnaie, dont on postule qu’ils sont régis par la même probabilité. Supposons que la pièce ait été lancée n = 40 fois et qu’on connaisse k = le nombre de fois où elle est tombée sur pile. On peut utiliser les données pour estimer ou pour tester la valeur de la probabilité.

Commençons par le test statistique. Si le nombre k de piles est grand, on sera enclin à douter de la valeur de cette probabilité, puisque pile est par hypothèse très peu probable (p = 0,1). Mais il faut bien voir que ce sentiment de doute ou d’étonnement est logiquement invalide. La probabilité p = 0,1 n’exclut aucun résultat : on peut observer 0 pile, 1 pile, 2 piles, etc. jusqu’à 40 piles dans la série des 40 lancers. La loi binomiale B(40 ; 0,1) indique que la probabilité d’observer 40 fois pile par exemple vaut 10-40, ce qui est très petit mais pas nul.

Voici donc la pragmatique du test de l’hypothèse nulle en statistique : on se donne un risque d’erreur de type 1 (i.e., rejeter l’hypothèse alors qu’elle est vraie) de 0,05 par exemple, ce qui correspond à au moins 7 piles. Si la série exhibe au moins 7 piles, on rejettera l’hypothèse p = 0,1. Attention encore : dans cette approche, le rejet n’est pas une falsification parce que l’hypothèse p = 0,1 est infalsifiable : ses conséquences sur une série de 40 lancers n’excluent aucun événement logiquement possible.

Récapitulons. On ne peut pas tester statistiquement la phrase « la probabilité que la pièce de monnaie que je regarde tombe sur pile quand je vais la lancer vaut 0,1 » parce que la classe de référence de cette probabilité contient zéro élément avant le lancer, un seul élément une fois qu’on a le résultat du lancer. On peut utiliser le chiffre 0,1 comme un indice (et pas une mesure) de la confiance qu’on peut avoir dans la divination « la pièce va tomber sur face », mais, comme pour les promesses en politique, croire en la divination n’engage que ceux qui croient. Les statisticiens savent que les probabilités n’ont de sens que lorsqu’on se réfère à une classe de référence définie par un très grand nombre d’expériences aléatoires, par opposition à une expérience unique (déjà advenue ou qui va advenir).

Si on se donne une classe de référence dont le cardinal (la taille) est n, on peut tester statistiquement la probabilité à partir du comptage des événements pertinents dans la série de n essais, en se donnant une politique de rejet de l’hypothèse qui est logiquement invalide puisque tout nombre de « succès », de 0 à n, est compatible avec l’hypothèse. Ainsi, si les divinations « face » réussissent trop peu souvent, on a un moyen conventionnel de rejeter l’expertise de celui qui fournit la probabilité — ce qui a peu d’incidence pratique parce que dans la vie concrète où on appréhende les réponses à l’item de quelqu’un, l’expert en probabilités n’est pas là — il est expert d’un grand nombre d’expériences aléatoires qui définissent une classe de référence de très grande taille — ; en tant que statisticiens spécialisés en psychologie, les psychométriciens sont assez malins pour ne pas se risquer dans des situations d’utilisation individuelles (voir la remarque de G. Rasch) : ils laissent les utilisateurs de modèles de scorage… utiliser les scores.

Il reste l’autre approche, où on veut estimer la probabilité p à partir de la loi binomiale B(40, p) et de k. On se réfère à la probabilité Cnkpk(1 – p)nk de k « succès » dans une série de n essais (voir sur Internet tout article sur la loi binomiale pour les détails de la formule) et on cherche la valeur p qui maximise cette probabilité. Mais il y a un problème : si on se donne les moyens d’observer un nouveau k, disons un k’, on peut trouver une autre valeur et donc une autre estimation de p par maximisation de Cnk’pk’(1 – p)nk’. On est alors conduit à encadrer p par l’accumulation d’observations, au lieu de déterminer sa valeur exacte à partir d’un seul k. La question est de savoir si cet encadrement peut être plus précis que ]0, 1[.

Raisonnons par l’absurde. Si on pouvait réduire l’approximation, on exclurait certains intervalles de valeurs bornés à gauche par 0 ou bornés à droite par 1 ; or la valeur de la probabilité p qui maximise Cnkpk(1 – p)nk pour k = 0 est p = 0 et la valeur de la probabilité p qui maximise Cnkpk(1 – p)nk pour k = n est p = 1. Comme toute probabilité dans ]0, 1[ est compatible avec k = 0 et k = n, on ne peut exclure que l’estimation donne les probabilités 0 ou 1. Comme la possibilité d’un contre-exemple exclut ces valeurs extrêmes, il reste que la probabilité qu’on maximise varie dans ]0, 1[. Par conséquent, on ne sait pas estimer la probabilité p avec une précision plus fine que ]0, 1[ pour des raisons purement logiques (voir aussi la section 3 de l’article 16a). Quelqu’un pourrait-il offrir une objection à cet argument ?

Quoiqu’il en soit, l’estimation d’une probabilité par maximisation de la vraisemblance nécessite qu’on dispose d’une classe de référence de grande taille et on bute sur une seconde objection sérieuse.

3. Réussir ou échouer l’item et la loi binomiale : ça ne marche pas

Revenons à la réalité de la psychologie scientifique : quelle est la classe de référence dont on dispose quand on parle de la probabilité que Paul réussisse cet item à ce moment ? C’est l’ensemble vide tant que Paul n’a pas traité l’item, un singleton quand il l’a traité. Si on imagine qu’on demande à Paul de traiter l’item 40 fois pour utiliser la fréquence des réussites comme mesure totalement imprécise de sa probabilité de réussir cet item à n’importe quel moment, on se rend compte d’une impossibilité théorique rédhibitoire : comment soutenir que la probabilité que Paul réussite l’item au premier essai soit la même que la probabilité qu’il réussisse le même item au nième essai ? Paul apprend — i.e., il change avec l’expérience. Cet argument me semble suffisant pour conclure qu’en psychologie de la réponse à l’item, on ne peut pas utiliser la notion de classe de référence (ou, ce qui est équivalent, de schéma de Bernouilli d’ordre n) comme fondement empirique de théorisation probabiliste de la réponse de quiconque à un item quelconque.

4. La tentative psychométrique

La discussion qui précède intéresse peu les psychométriciens parce qu’ils s’intéressent essentiellement à résoudre le problème de l’assignation d’un nombre à un m-uplet de réponses (cf. l’article 10a). La notion de probabilité n’a pas de rôle théorique, mais un rôle instrumental ou encore calculatoire. Mais ce rôle a une fonction méta-théorique : on score, donc on garantit l’évaluabilité (cf. les articles 10a, 13a, et aussi 19a).

L’idée essentielle d’un modèle de réponse à l’item, consiste à remplacer la fonction de mesurage, qui modélise la réponse à l’item avec les probabilités 0 ou 1, par une fonction psychométrique, qui modélise la probabilité de la réponse à l’item, celle-ci devant nécessairement se trouver dans ]0, 1[. Pour donner une idée précise de ce qui est en jeu, je vais me référer au modèle de Rasch et m’appuyer sur la Rasch Estimation Demonstration Spreadsheet de Mark H. Moulton. Le propos n’étant pas technique mais épistémologique, je n’entraînerai pas le lecteur dans les méandres des calculs mais plutôt dans l’analyse de la signification scientifique des résultats. Il s’agit de comprendre que la probabilisation permet de trouver des valeurs numériques par tâtonnements successifs de telle manière que ces valeurs fournissent nécessairement, on dit aussi convergent vers, la meilleure solution possible. La question est : comment définir le meilleur ? La meilleure solution est celle qui minimise une quantité qu’on appelle résiduelle. La beauté de l’art de l’estimation statistique tient à l’existence de propriétés mathématiques comme l’unicité de la solution qui minimise le résidu. Cette unicité constitue un critère d’acceptabilité sociale du meilleur scorage puisque scorer on veut.

Le point de départ de la démarche d’estimation est une liste de m-uplets dont Moulton donne un exemple. On constate que les 10-uplets ne sont pas simplement ordonnés, ce qui, répétons-le, signifie qu’il n’existe pas de fonction de mesurage (cf. l’article 11a et aussi l’article 13a). Mais on veut quand même donner une valeur numérique aux seuils des items et aux personnes qui ont fourni les 10-uplets, en admettant des irrégularités ordinales aléatoires. Le facteur aléatoire est modélisé par la formule

Pr(Xsi = 1) = exp(βsδi)/[1 + exp(βsδi)],

Xsi est une variable aléatoire binaire dont la classe de référence est la population virtuelle des essais du sujet s à l’item i, βs est la valeur qu’on veut attribuer à s et δi est le seuil de i (dans l’ensemble des réels et non pas dans [0, max]). Cette formule est équivalente au logit

ln[Pr(Xsi = 1)/(1 – Pr(Xsi = 1)] = βsδi,

qui définit l’écart entre la valeur de s et le seuil de l’item.

Ce cadre théorique est le même que le cadre théorique du mesurage, à la nuance près que le domaine de la quantité à estimer/mesurer est étendu à l’ensemble des nombres réels. Mais, contrairement à la démarche scientifique qui prend le risque d’affirmer la non-mesurabilité de la grandeur par les m-uplets si la théorie est fausse, la démarche psychométrique affirme la mesurabilité en dotant le cadre théorique d’un cadre probabiliste dont la valeur ajoutée est calculatoire, tout en reconnaissant que ce cadre est faux (voir par exemple la remarque d’Embretson et Reise — ce n’est pas rédhibitoire, il suffit que les probabilités soient utiles).

Suivons Moulton. Les 10-uplets permettent le calcul de la proportion de réussite des neuf sujets ainsi que la proportion de réponses incorrectes des 10 items, qui sont exprimées en logits (les logits des items étant ensuite centrés). La clé de la méthode d’estimation présentée par Moulton tient à la définition de la quantité résiduelle de chaque cellule de la table de contingence (9 × 10). Les logits des sujets et les logits centrés des items sont utilisés comme estimations des valeurs βs et δi ce qui permet d’estimer les probabilités de réussite de chaque item par chaque sujet (probabilité qui est équivalente à l’espérance de chaque Xsi). Le résidu est la différence entre la valeur observée (1 pour réussite) et la valeur espérée qu’on vient de calculer.

Remarque. L’espérance de chaque Xsi n’est définie que si les valeurs de la variable sont traitées comme des valeurs numériques. Mais 0 et 1 ne sont que des codes pratiques pour « échec » et « réussite ». La variable Xsi n’est pas une variable aléatoire numérique, c’est au mieux une variable aléatoire qualitative si on accepte l’existence de la loi de probabilité dont on la dote. Elle n’a donc pas d’espérance mathématique.

Il ne reste plus qu’à corriger les logits des sujet et les logits centrés des items de manière à ce que les résidus soient minimisés, et ainsi de suite jusqu’à ce que les corrections deviennent négligeables. Assurément, voici du grand art et on ne peut qu’admirer les algorithmiciens de l’optimisation statistique. Finalement, on dispose de 10 valeurs qui ordonnent les sujets sur une échelle numérique parsemée de neufs « barreaux » dont on connaît aussi les seuils.

Mais la beauté du tableau ne doit pas nous faire oublier ce fait initial : la probabilité qu’un sujet quelconque parmi les 10 sujets réussisse un item quelconque parmi les items qu’on connaît est une valeur dans ]0, 1[. Même si, pour des raisons disons pragmatiques, on accepte la non-falsifiabilité des propositions qu’on peut en tirer, cette probabilité n’est pas testable statistiquement parce que sa classe de référence est un singleton si on connaît la réponse à l’item, un ensemble vide si on l’ignore.

L’estimation psychométrique donne la meilleure valeur possible aux 10-uplets observés, c’est-à-dire les hiérarchise au mieux, avec l’innovation socio-technique qui consiste en ce que seuls les experts de l’algorithme d’optimisation savent définir exactement de quoi on parle quand on parle du meilleur. Le modèle de Rasch, et d’une manière générale les modèles psychométriques de réponse à l’item, sont de savantes méthodes d’agrégation numérique ou encore de hiérarchisation de données partiellement ordonnées, pas des méthodes de mesurage. Leur développement est possible précisément parce que les grandeurs qu’on invoque ne sont pas mesurables.

21a. Comparer des scores

Voici une question d’examen, la réponse d’un étudiant de L2 et mes commentaires de sa réponse.

Question. Soit un test de mémoire composé de 20 items cotés 0/1. Le score compte le nombre de réponses correctes (cotées 1). Julie a un score de 13 points et Paul a un score de 18 points. Peut-on en déduire que Paul a une meilleure performance que Julie ? Pourquoi ? (Attention au fait qu’un score n’est pas une performance, une performance étant un 20-uplet.)

Réponse de l’étudiant. Oui on peut déduire que Paul a une meilleure performance. Les scores de la performance sont concrets, observables et surtout mesurables.

Commentaire. Commençons par la réponse : « Oui on peut déduire que Paul a une meilleure performance ». Erreur… 🙁 Il faut faire attention à ce que déduire signifie. On peut déduire B de A si A implique B, ou, c’est la même idée, si B découle logiquement de A. Ici, la prémisse est « Julie a un score de 13 points et Paul a un score de 18 points ». Est-ce que cela implique que le 20-uplet sur lequel repose le score de Paul est supérieur au 20-uplet sur lequel repose le score de Julie?

Non, on sait (cf. 32a) que deux 20-uplets ne sont pas nécessairement comparables. Or, la connaissance des scores (13 et 18) ne permet pas de savoir quels sont les 20-uplets respectifs. On ne peut pas exclure que 13 agrège l’information de 11111111111110000000 et que 18 agrège l’information de 00111111111111111111 par exemple. Or ces 20-uplets sont incomparables.

Utilisons les notations de 11a. On a 13 = AX(Julie) et 18 = AX(Paul) (en négligeant l’ancrage temporel des personnes pour définir complètement les unités d’observation).

« AX(Julie) < AX(Paul) » n’implique pas « X(Julie) ≤ X(Paul) ».

L’erreur de raisonnement est possible grâce à la confusion conceptuelle entre score et performance. Un score n’est pas une performance, c’est un jugement de valeur à propos, ou encore, une hiérarchisation sociale — par opposition à une hiérarchie naturelle — de la performance.

Concernant la justification de la réponse, « les scores de la performance sont concrets, observables et surtout mesurables », il y a du travail à faire au niveau du maniement du français. On peut traduire « Les scores de la performance » par « les résultats du scorage de la performance, i.e., les X = AX ». Ces résultats sont-ils concrets ? Ce qui est concret, c’est la performance observée. Le score résulte de l’application d’une règle d’agrégation A de la performance X. Il est objectif en ce sens que deux psychologues qui partent de la même performance X et appliquent la même règle A obtiennent le même score X. Mais je ne sais pas en quoi ce score est concret ; c’est un symbole communicable. Il est observable une fois qu’il est écrit sur une feuille de papier par exemple, mais cette remarque n’est pas pertinente ici. Ce qui est pertinent, c’est qu’il ne représente pas complètement la performance X.

Dernier élément de la justification de la réponse : « Les scores sont mesurables ». Non. Ce qui est mesurable, c’est une grandeur qui, par définition, est une possibilité théorique non observable. Les scores peuvent éventuellement être considérés comme des mesures, c’est-à-dire, comme des mesurants, mais pas comme des mesurés (dans le même sens qu’on distingue signifiant et signifié en linguistique). Ce qui est mesurable, c’est le mesuré, pas le mesurant.