Archives de catégorie : b. Projet de précis

23a. Enjeux d’un mémoire de recherche en psychologie

Il y a au moins deux façons de définir le but ultime d’un travail de recherche en psychologie : (1) gagner du prestige en montrant qu’on est capable de publier dans des revues dont le prestige est évalué par son indice d’impact ; (2) essayer de répondre à une question, de telle manière que la réponse (qui inclut le travail qu’elle a demandé) constitue une contribution à la connaissance scientifique actuelle. Malheureusement, les deux types d’objectifs ne sont pas toujours compatibles (voir par exemple Ioannidis, 2014).

1) Pour publier dans une revue prestigieuse,

… il faut soumettre un article qui plaise au comité éditorial de la revue puis aux experts qu’elle sollicite pour l’évaluation de l’article. La solution standard consiste à dire aux étudiants de faire des analyses statistiques (calcul de corrélations, régression multiple, analyse en composantes principales, modélisation avec des variables latentes, des effets mixtes, etc., le principe étant la surenchère dans le degré de sophistication des analyses comme manière de penser le progrès de la recherche). Dans cette perspective, les étudiants attendent qu’on leur explique comment faire ; la formation standard consiste à leur donner des procédures presse-bouton parce qu’il n’est pas possible pour un étudiant standard de comprendre ce que fait le logiciel. Je passe sur l’acquisition des données, tâche subalterne qui n’intéresse personne. Bilan : beaucoup de temps et d’énergie dépensés pour une contribution scientifique indéfinie, pour un exercice de style que de nombreux étudiants considèrent comme une corvée.

2) Pour répondre à une question, de telle manière que la réponse constitue une contribution à la connaissance scientifique,

… il faut se lever de bonne heure, parce qu’il faut beaucoup réfléchir. D’abord, la plupart des questions qu’on se pose ne sont pas des questions scientifiques. Pas facile d’apprendre à juger ce point. De plus, quand on juge, il est décourageant de voir « tomber » toutes les questions qui nous viennent à l’esprit, et carrément déconcertant de constater que la plupart des hypothèses de recherche qu’on trouve dans des articles publiés dans des revues prestigieuses ne sont pas des questions scientifiques (en particulier les hypothèses qui reposent sur l’idée vague d’influence, voir par exemple 37a).

Je poursuis ici la réflexion initiée dans Qu’est-ce qu’une contribution scientifique en psychologie ? Les étudiants sont habitués à entendre parler de VI (variable indépendante) et de VD (variable dépendante). Quelque chose (VD) dépend d’autre chose (VI)…

3) Premier type de contribution possible : de quoi parle-t-on ?

On peut utilement consacrer un mémoire à préciser de quoi tels ou tels auteurs parlent dans quelques articles qu’on aura sélectionnés. En général, il y a un pataquès entre ce qu’ils observent (les réponses des participants de leurs études) et ce dont ils parlent (les construits) et ça demande pas mal de travail de démêler le pataquès. Il s’agit fondamentalement de problèmes de théorie et de méthodologie descriptive, en particulier quand on prétend mesurer des grandeurs psychologiques. Je parie qu’on arrive à montrer que les hypothèses de recherche ne sont pas testables ; en fait, les études focalisées par la mise en évidence d’effets statistiques ne sont pas explicatives mais exploratoires. Si la testabilité est une condition nécessaire pour la scientificité d’une hypothèse, il s’ensuit qu’elles ne sont pas scientifiques parce que pour tester une explication, on doit disposer d’une explication. Très déconcertant. On peut consacrer un mémoire de recherche seulement à proposer un référentiel de description ; il est inutile d’imposer à un étudiant de recueillir des données si le référentiel de description n’est pas au point théoriquement (ce qui ne signifie pas qu’un référentiel de description ne doive pas être essayé sur quelques unités d’observation).

4) Deuxième type de contribution : que se passe-t-il ?

Quand deux psychologues qui observent le même phénomène peuvent ne pas le décrire de la même manière, alors qu’ils utilisent le même langage descriptif, on a un authentique problème d’objectivité (voir Le Kappa de Cohen) : comment faire pour établir l’interchangeabilité des observateurs ? L’interchangeabilité des observateurs est-elle exigible ? Répondre à ces questions, c’est apporter une contribution scientifique à l’état actuel des connaissances.

Si on est au clair avec les phénomènes dont on parle, autrement dit si on est au clair avec les modalités de ses variables, on peut chercher à savoir ce qui se passe dans la fenêtre d’observation qu’on s’est donnée. C’est un objectif modeste, mais toujours utile, de pouvoir décrire ce qui se passe dans telles ou telles conditions.

5) Troisième type de contribution : expliquer ce qui se passe

Si on se donne ce type de but, il faut d’abord savoir ce qu’expliquer signifie. Plusieurs points de vue sont possibles, mais il faut s’en donner un. Celui que j’adopte est développé dans Qu’est-ce qu’une explication scientifique ? et dans Explication, nécessité, condition suffisante vs. nécessaire. Il conduit à la question du déterminisme, développée dans Formes de lois scientifiques.

6) Quatrième type de contribution : trouver une anecdote statistique

Dans cette perspective, on se rapproche de la tradition statisticienne dominante et on tourne le dos à la quête d’explications. Il y a l’anecdote passive et l’anecdote interventionniste. La seconde est la plus utile du point de vue du pouvoir. Si vous montrez que dans la condition a, le phénomène p se produit plus souvent que dans la condition non-a, et si p est désirable, vous avez gagné, surtout si vous savez mettre les gens dans la condition a — vous tenez une anecdote interventionniste  ; si la condition n’est pas contrôlable, c’est moins intéressant  anecdote passive. Vous pouvez aussi raisonner en termes de prévention (voir Explication, nécessité, condition suffisante vs. nécessaire). Et vous aurez un problème industriel : comment montrer que l’anecdote est répétable ?

22a. La probabilité de réussir l’item

Les modèles psychométriques de réponse à l’item reposent sur la notion de probabilité de réussir un item. Cet article explore cette notion dans une perspective épistémologique plutôt que psychométrique (c’est-à-dire statistique). Adopter une perspective épistémologique consiste ici à se demander (i) comment on fait pour savoir quelque chose à partir de la notion de probabilité et (ii) si ce savoir est falsifiable. La conclusion de l’article est qu’un modèle de réponse à l’item (MRI) ne fournit pas un savoir falsifiable sur les différences quantitatives invoquées par le modèle. Si les réponses aux items étaient des mesures (ordinales), les modèles probabilistes de réponse à l’item seraient superflus. Et si on est au clair avec le fait que ces modèles ne sont pas des modèles de mesurage, leur utilité demeure ambigüe et doit être précisée (Vautier, Veldhuis, Lacot, & Matton, 2012). Je remercie par avance chaleureusement tous les commentateurs férus de psychométrie, statistique ou autres probabilités qui voudraient bien me critiquer.

1. La vérité de la proposition « la probabilité que Paul réussisse cet item à ce moment vaut 0,8 »

Comment fait-on pour savoir si cette proposition est vraie ou fausse ? Prenons n’importe quelle valeur p dans ]0, 1[, la phrase « la probabilité que Paul réussisse cet item à ce moment vaut p » est infalsifiable parce qu’elle implique « Paul va échouer ou réussir », ce qui est une tautologie. Donc la réponse à la question est : je ne sais pas (cf. Vautier, 2012).

Si on donne les valeurs 0 ou 1 à p, alors au moins une des deux phrases est fausse. Si Paul réussit alors que p = 0 la phrase est fausse ; idem si Paul échoue alors que p = 1.

Pas si simple ? Essayons encore et considérons la phrase « la probabilité que Paul réussisse cet item à ce moment vaut 10-20 ». Minuscule probabilité, qui indique que la possibilité de réussite est infime et qu’on peut, comme dirait un ami dont l’érudition psychométrique est immense, raisonnablement croire que Paul va échouer. En d’autres termes, on serait très surpris que Paul réussisse. Et donc on ne parierait pas sur la réussite de Paul si on fait confiance à celui qui indique une telle probabilité. Dans cette histoire, il s’agit de la confiance qu’on a dans celui qui énonce la probabilité.

Remontons à la prémisse. Comment fait-on pour savoir la valeur de la probabilité ? Par déduction mais alors à partir de quelles prémisses ? Au secours Valéry ! Par la connaissance empirique pertinente ? On ne peut que connaître des fréquences, ce qu’il faut développer.

2. Pile ou face et la loi binomiale : ça « marchotte »

« La probabilité que la pièce de monnaie qui se trouve devant moi tombe sur pile quand je vais la lancer vaut 0,1 ». On ne dispose d’aucune connaissance empirique puisque le lancer n’a pas eu lieu, ni de connaissance physique sur le centre de gravité de la pièce. Autrement dit, on dit qu’on ne sait pas et le surplus de sens est une information non pas sur la pièce de monnaie mais sur l’intention de celui qui parle (du registre « je ne parierais pas sur pile, faites comme moi »).

On peut adopter un point de vue empiriste, en faisant appel à une classe de référence, ou encore, c’est la même chose, une population statistique, c’est-à-dire un ensemble de lancers différents de la même pièce de monnaie, dont on postule qu’ils sont régis par la même probabilité. Supposons que la pièce ait été lancée n = 40 fois et qu’on connaisse k = le nombre de fois où elle est tombée sur pile. On peut utiliser les données pour estimer ou pour tester la valeur de la probabilité.

Commençons par le test statistique. Si le nombre k de piles est grand, on sera enclin à douter de la valeur de cette probabilité, puisque pile est par hypothèse très peu probable (p = 0,1). Mais il faut bien voir que ce sentiment de doute ou d’étonnement est logiquement invalide. La probabilité p = 0,1 n’exclut aucun résultat : on peut observer 0 pile, 1 pile, 2 piles, etc. jusqu’à 40 piles dans la série des 40 lancers. La loi binomiale B(40 ; 0,1) indique que la probabilité d’observer 40 fois pile par exemple vaut 10-40, ce qui est très petit mais pas nul.

Voici donc la pragmatique du test de l’hypothèse nulle en statistique : on se donne un risque d’erreur de type 1 (i.e., rejeter l’hypothèse alors qu’elle est vraie) de 0,05 par exemple, ce qui correspond à au moins 7 piles. Si la série exhibe au moins 7 piles, on rejettera l’hypothèse p = 0,1. Attention encore : dans cette approche, le rejet n’est pas une falsification parce que l’hypothèse p = 0,1 est infalsifiable : ses conséquences sur une série de 40 lancers n’excluent aucun événement logiquement possible.

Récapitulons. On ne peut pas tester statistiquement la phrase « la probabilité que la pièce de monnaie que je regarde tombe sur pile quand je vais la lancer vaut 0,1 » parce que la classe de référence de cette probabilité contient zéro élément avant le lancer, un seul élément une fois qu’on a le résultat du lancer. On peut utiliser le chiffre 0,1 comme un indice (et pas une mesure) de la confiance qu’on peut avoir dans la divination « la pièce va tomber sur face », mais, comme pour les promesses en politique, croire en la divination n’engage que ceux qui croient. Les statisticiens savent que les probabilités n’ont de sens que lorsqu’on se réfère à une classe de référence définie par un très grand nombre d’expériences aléatoires, par opposition à une expérience unique (déjà advenue ou qui va advenir).

Si on se donne une classe de référence dont le cardinal (la taille) est n, on peut tester statistiquement la probabilité à partir du comptage des événements pertinents dans la série de n essais, en se donnant une politique de rejet de l’hypothèse qui est logiquement invalide puisque tout nombre de « succès », de 0 à n, est compatible avec l’hypothèse. Ainsi, si les divinations « face » réussissent trop peu souvent, on a un moyen conventionnel de rejeter l’expertise de celui qui fournit la probabilité — ce qui a peu d’incidence pratique parce que dans la vie concrète où on appréhende les réponses à l’item de quelqu’un, l’expert en probabilités n’est pas là — il est expert d’un grand nombre d’expériences aléatoires qui définissent une classe de référence de très grande taille — ; en tant que statisticiens spécialisés en psychologie, les psychométriciens sont assez malins pour ne pas se risquer dans des situations d’utilisation individuelles (voir la remarque de G. Rasch) : ils laissent les utilisateurs de modèles de scorage… utiliser les scores.

Il reste l’autre approche, où on veut estimer la probabilité p à partir de la loi binomiale B(40, p) et de k. On se réfère à la probabilité Cnkpk(1 – p)nk de k « succès » dans une série de n essais (voir sur Internet tout article sur la loi binomiale pour les détails de la formule) et on cherche la valeur p qui maximise cette probabilité. Mais il y a un problème : si on se donne les moyens d’observer un nouveau k, disons un k’, on peut trouver une autre valeur et donc une autre estimation de p par maximisation de Cnk’pk’(1 – p)nk’. On est alors conduit à encadrer p par l’accumulation d’observations, au lieu de déterminer sa valeur exacte à partir d’un seul k. La question est de savoir si cet encadrement peut être plus précis que ]0, 1[.

Raisonnons par l’absurde. Si on pouvait réduire l’approximation, on exclurait certains intervalles de valeurs bornés à gauche par 0 ou bornés à droite par 1 ; or la valeur de la probabilité p qui maximise Cnkpk(1 – p)nk pour k = 0 est p = 0 et la valeur de la probabilité p qui maximise Cnkpk(1 – p)nk pour k = n est p = 1. Comme toute probabilité dans ]0, 1[ est compatible avec k = 0 et k = n, on ne peut exclure que l’estimation donne les probabilités 0 ou 1. Comme la possibilité d’un contre-exemple exclut ces valeurs extrêmes, il reste que la probabilité qu’on maximise varie dans ]0, 1[. Par conséquent, on ne sait pas estimer la probabilité p avec une précision plus fine que ]0, 1[ pour des raisons purement logiques (voir aussi la section 3 de l’article 16a). Quelqu’un pourrait-il offrir une objection à cet argument ?

Quoiqu’il en soit, l’estimation d’une probabilité par maximisation de la vraisemblance nécessite qu’on dispose d’une classe de référence de grande taille et on bute sur une seconde objection sérieuse.

3. Réussir ou échouer l’item et la loi binomiale : ça ne marche pas

Revenons à la réalité de la psychologie scientifique : quelle est la classe de référence dont on dispose quand on parle de la probabilité que Paul réussisse cet item à ce moment ? C’est l’ensemble vide tant que Paul n’a pas traité l’item, un singleton quand il l’a traité. Si on imagine qu’on demande à Paul de traiter l’item 40 fois pour utiliser la fréquence des réussites comme mesure totalement imprécise de sa probabilité de réussir cet item à n’importe quel moment, on se rend compte d’une impossibilité théorique rédhibitoire : comment soutenir que la probabilité que Paul réussite l’item au premier essai soit la même que la probabilité qu’il réussisse le même item au nième essai ? Paul apprend — i.e., il change avec l’expérience. Cet argument me semble suffisant pour conclure qu’en psychologie de la réponse à l’item, on ne peut pas utiliser la notion de classe de référence (ou, ce qui est équivalent, de schéma de Bernouilli d’ordre n) comme fondement empirique de théorisation probabiliste de la réponse de quiconque à un item quelconque.

4. La tentative psychométrique

La discussion qui précède intéresse peu les psychométriciens parce qu’ils s’intéressent essentiellement à résoudre le problème de l’assignation d’un nombre à un m-uplet de réponses (cf. l’article 10a). La notion de probabilité n’a pas de rôle théorique, mais un rôle instrumental ou encore calculatoire. Mais ce rôle a une fonction méta-théorique : on score, donc on garantit l’évaluabilité (cf. les articles 10a, 13a, et aussi 19a).

L’idée essentielle d’un modèle de réponse à l’item, consiste à remplacer la fonction de mesurage, qui modélise la réponse à l’item avec les probabilités 0 ou 1, par une fonction psychométrique, qui modélise la probabilité de la réponse à l’item, celle-ci devant nécessairement se trouver dans ]0, 1[. Pour donner une idée précise de ce qui est en jeu, je vais me référer au modèle de Rasch et m’appuyer sur la Rasch Estimation Demonstration Spreadsheet de Mark H. Moulton. Le propos n’étant pas technique mais épistémologique, je n’entraînerai pas le lecteur dans les méandres des calculs mais plutôt dans l’analyse de la signification scientifique des résultats. Il s’agit de comprendre que la probabilisation permet de trouver des valeurs numériques par tâtonnements successifs de telle manière que ces valeurs fournissent nécessairement, on dit aussi convergent vers, la meilleure solution possible. La question est : comment définir le meilleur ? La meilleure solution est celle qui minimise une quantité qu’on appelle résiduelle. La beauté de l’art de l’estimation statistique tient à l’existence de propriétés mathématiques comme l’unicité de la solution qui minimise le résidu. Cette unicité constitue un critère d’acceptabilité sociale du meilleur scorage puisque scorer on veut.

Le point de départ de la démarche d’estimation est une liste de m-uplets dont Moulton donne un exemple. On constate que les 10-uplets ne sont pas simplement ordonnés, ce qui, répétons-le, signifie qu’il n’existe pas de fonction de mesurage (cf. l’article 11a et aussi l’article 13a). Mais on veut quand même donner une valeur numérique aux seuils des items et aux personnes qui ont fourni les 10-uplets, en admettant des irrégularités ordinales aléatoires. Le facteur aléatoire est modélisé par la formule

Pr(Xsi = 1) = exp(βsδi)/[1 + exp(βsδi)],

Xsi est une variable aléatoire binaire dont la classe de référence est la population virtuelle des essais du sujet s à l’item i, βs est la valeur qu’on veut attribuer à s et δi est le seuil de i (dans l’ensemble des réels et non pas dans [0, max]). Cette formule est équivalente au logit

ln[Pr(Xsi = 1)/(1 – Pr(Xsi = 1)] = βsδi,

qui définit l’écart entre la valeur de s et le seuil de l’item.

Ce cadre théorique est le même que le cadre théorique du mesurage, à la nuance près que le domaine de la quantité à estimer/mesurer est étendu à l’ensemble des nombres réels. Mais, contrairement à la démarche scientifique qui prend le risque d’affirmer la non-mesurabilité de la grandeur par les m-uplets si la théorie est fausse, la démarche psychométrique affirme la mesurabilité en dotant le cadre théorique d’un cadre probabiliste dont la valeur ajoutée est calculatoire, tout en reconnaissant que ce cadre est faux (voir par exemple la remarque d’Embretson et Reise — ce n’est pas rédhibitoire, il suffit que les probabilités soient utiles).

Suivons Moulton. Les 10-uplets permettent le calcul de la proportion de réussite des neuf sujets ainsi que la proportion de réponses incorrectes des 10 items, qui sont exprimées en logits (les logits des items étant ensuite centrés). La clé de la méthode d’estimation présentée par Moulton tient à la définition de la quantité résiduelle de chaque cellule de la table de contingence (9 × 10). Les logits des sujets et les logits centrés des items sont utilisés comme estimations des valeurs βs et δi ce qui permet d’estimer les probabilités de réussite de chaque item par chaque sujet (probabilité qui est équivalente à l’espérance de chaque Xsi). Le résidu est la différence entre la valeur observée (1 pour réussite) et la valeur espérée qu’on vient de calculer.

Remarque. L’espérance de chaque Xsi n’est définie que si les valeurs de la variable sont traitées comme des valeurs numériques. Mais 0 et 1 ne sont que des codes pratiques pour « échec » et « réussite ». La variable Xsi n’est pas une variable aléatoire numérique, c’est au mieux une variable aléatoire qualitative si on accepte l’existence de la loi de probabilité dont on la dote. Elle n’a donc pas d’espérance mathématique.

Il ne reste plus qu’à corriger les logits des sujet et les logits centrés des items de manière à ce que les résidus soient minimisés, et ainsi de suite jusqu’à ce que les corrections deviennent négligeables. Assurément, voici du grand art et on ne peut qu’admirer les algorithmiciens de l’optimisation statistique. Finalement, on dispose de 10 valeurs qui ordonnent les sujets sur une échelle numérique parsemée de neufs « barreaux » dont on connaît aussi les seuils.

Mais la beauté du tableau ne doit pas nous faire oublier ce fait initial : la probabilité qu’un sujet quelconque parmi les 10 sujets réussisse un item quelconque parmi les items qu’on connaît est une valeur dans ]0, 1[. Même si, pour des raisons disons pragmatiques, on accepte la non-falsifiabilité des propositions qu’on peut en tirer, cette probabilité n’est pas testable statistiquement parce que sa classe de référence est un singleton si on connaît la réponse à l’item, un ensemble vide si on l’ignore.

L’estimation psychométrique donne la meilleure valeur possible aux 10-uplets observés, c’est-à-dire les hiérarchise au mieux, avec l’innovation socio-technique qui consiste en ce que seuls les experts de l’algorithme d’optimisation savent définir exactement de quoi on parle quand on parle du meilleur. Le modèle de Rasch, et d’une manière générale les modèles psychométriques de réponse à l’item, sont de savantes méthodes d’agrégation numérique ou encore de hiérarchisation de données partiellement ordonnées, pas des méthodes de mesurage. Leur développement est possible précisément parce que les grandeurs qu’on invoque ne sont pas mesurables.

21a. Comparer des scores

Voici une question d’examen, la réponse d’un étudiant de L2 et mes commentaires de sa réponse.

Question. Soit un test de mémoire composé de 20 items cotés 0/1. Le score compte le nombre de réponses correctes (cotées 1). Julie a un score de 13 points et Paul a un score de 18 points. Peut-on en déduire que Paul a une meilleure performance que Julie ? Pourquoi ? (Attention au fait qu’un score n’est pas une performance, une performance étant un 20-uplet.)

Réponse de l’étudiant. Oui on peut déduire que Paul a une meilleure performance. Les scores de la performance sont concrets, observables et surtout mesurables.

Commentaire. Commençons par la réponse : « Oui on peut déduire que Paul a une meilleure performance ». Erreur… 🙁 Il faut faire attention à ce que déduire signifie. On peut déduire B de A si A implique B, ou, c’est la même idée, si B découle logiquement de A. Ici, la prémisse est « Julie a un score de 13 points et Paul a un score de 18 points ». Est-ce que cela implique que le 20-uplet sur lequel repose le score de Paul est supérieur au 20-uplet sur lequel repose le score de Julie?

Non, on sait (cf. 32a) que deux 20-uplets ne sont pas nécessairement comparables. Or, la connaissance des scores (13 et 18) ne permet pas de savoir quels sont les 20-uplets respectifs. On ne peut pas exclure que 13 agrège l’information de 11111111111110000000 et que 18 agrège l’information de 00111111111111111111 par exemple. Or ces 20-uplets sont incomparables.

Utilisons les notations de 11a. On a 13 = AX(Julie) et 18 = AX(Paul) (en négligeant l’ancrage temporel des personnes pour définir complètement les unités d’observation).

« AX(Julie) < AX(Paul) » n’implique pas « X(Julie) ≤ X(Paul) ».

L’erreur de raisonnement est possible grâce à la confusion conceptuelle entre score et performance. Un score n’est pas une performance, c’est un jugement de valeur à propos, ou encore, une hiérarchisation sociale — par opposition à une hiérarchie naturelle — de la performance.

Concernant la justification de la réponse, « les scores de la performance sont concrets, observables et surtout mesurables », il y a du travail à faire au niveau du maniement du français. On peut traduire « Les scores de la performance » par « les résultats du scorage de la performance, i.e., les X = AX ». Ces résultats sont-ils concrets ? Ce qui est concret, c’est la performance observée. Le score résulte de l’application d’une règle d’agrégation A de la performance X. Il est objectif en ce sens que deux psychologues qui partent de la même performance X et appliquent la même règle A obtiennent le même score X. Mais je ne sais pas en quoi ce score est concret ; c’est un symbole communicable. Il est observable une fois qu’il est écrit sur une feuille de papier par exemple, mais cette remarque n’est pas pertinente ici. Ce qui est pertinent, c’est qu’il ne représente pas complètement la performance X.

Dernier élément de la justification de la réponse : « Les scores sont mesurables ». Non. Ce qui est mesurable, c’est une grandeur qui, par définition, est une possibilité théorique non observable. Les scores peuvent éventuellement être considérés comme des mesures, c’est-à-dire, comme des mesurants, mais pas comme des mesurés (dans le même sens qu’on distingue signifiant et signifié en linguistique). Ce qui est mesurable, c’est le mesuré, pas le mesurant.

20a. Les m-uplets et leur dénombrement

Pour réfléchir aux problèmes de description objective, dont le mesurage est une des formes possibles, il faut pouvoir manipuler quelques abstractions élémentaires.

1. Les m-uplets

Un test de m items permet d’observer un m-uplet de réponses. Quand vous lisez le mot m-uplet, visualisez quelque chose comme ceci :

(¤, ¤, ¤, …, ¤),

où le symbole « ¤ » désigne une place. Un m-uplet est une liste de m places numérotées, peu importe qu’elles soient vides ou remplies. La place n° 1 est réservée à la réponse à l’item n° 1, la place n° 2 est réservée à la réponse à l’item n° 2 et ainsi de suite jusqu’à la dernière place, la n° m. Une place vide signifie qu’on ne connaît pas la valeur de la réponse mais que cette réponse est possible.

Notation. On peut noter x = (x1, x2, …, xm) un m-uplet, où les indices i = 1, 2, …, m désignent des rangs (notion d’ordre). On peut aussi utiliser une notation concaténée : (0, 1, 1, 0) = 0110.

La réponse au test est par définition un m-uplet de réponses aux m items du test. Pour habituer votre esprit à cet objet, vous pouvez jouer avec la valeur de m. Si le test comporte 20 items, la réponse au test est un 20-uplet (ce qui entraîne qu’il faut 20 places pour l’écrire). Si le test comporte 5 items, la réponse au test est un 5-uplet, etc.

2. Le nombre de m-uplets possibles

Quand on s’intéresse à un test, il faut pouvoir conceptualiser l’ensemble dans lequel se trouvent les observations qu’on peut faire. C’est l’ensemble de toutes les réponses possibles, autrement dit l’ensemble de tous les m-uplets possibles.

Beaucoup de gens, y compris des gens qui enseignent ou font de la recherche en psychologie, n’ont pas d’idée claire de ce qu’est un tel ensemble, ce qui est préjudiciable à leur réflexion parce que cet ensemble est une réalité logique fondamentale. On ne peut raisonner clairement si on ne sait pas sur quoi on raisonne (cf. Windelband).

Commençons par le cas le plus simple, un test à un item. Puisqu’on considère les réponses à un seul item, on cherche à se représenter (se faire une image de) l’ensemble de tous les 1-uplets possibles. Ici se trouve une chausse-trappe : on parle de 1-uplets, on retient le « 1 » dans sa tête et on déduit à tort qu’il y a un 1-uplet possible. Il faut savoir de quoi dépend le nombre de 1-uplets possibles. Le nombre de 1-uplets possibles est le nombre de réponses possible à cet item.

Si l’item est par exemple l’échelle analogique de douleur, il existe une infinité de points dans le segment [0 cm, 10 cm]. Donc il existe une infinité de 1-uplets possibles. Si l’item a deux réponses possibles (par exemple, l’item de calcul mental dont les réponses sont « incorrect » ou « correct »), il existe deux 1-uplets possibles. Si l’item est défini par k réponses possibles, il y a k 1-uplets possibles. Le nombre de m-uplets possibles n’est pas m.

Maintenant, considérons un test à deux items. On s’intéresse à l’ensemble des 2-uplets possibles. Ici, il faut combiner les réponses possibles au premier item avec les réponses possibles au second item. Le premier item a k1 réponses possibles et le second item a k2 réponses possibles. On procède de la manière suivante : on considère la première réponse possible au premier item, puis on considère les k2 réponses possibles au second item. On a donc k2 2-uplets possibles qui commencent par la première réponse au premier item. On passe ensuite à la seconde réponse possible au premier item, ce qui donne à nouveau k2 2-uplets possibles, qui commencent par la seconde réponse au premier item. On a donc 2 × k2 2-uplets possibles. On continue ainsi jusqu’à la k1ième réponse au premier item, ce qui donne k1 × k2 2-uplets possibles.

Généralisons : on considère un test de m items à  k1, k2, …, km réponses, respectivement. On a donc

k1 × k2 × … × km

m-uplets possibles.

Cas particulier : soit un test de m items à k modalités de réponse. On a k × k × … × k = km m-uplets possibles. Par exemple, un test de 20 items binaires génère un ensemble de 220 20-uplets possibles. Une seconde chausse-trappe mérite d’être signalée car beaucoup de gens s’y font piéger : le nombre de 20-uplets possibles n’est pas 202 !

Exercice non corrigé

Cite this article as: Stéphane Vautier, "20a. Les m-uplets et leur dénombrement", in Épistémologie de la psychologie, 21/06/2014, https://epistemo.hypotheses.org/1608.

19a. L’évaluation du retard mental selon Binet et Simon

La série d’articles regroupés dans ce blog sous la catégorie « Projet de précis » débute par une question : on ne sait mesurer aucune grandeur psychologique avec des réponses à des tests, d’où vient l’erreur ? Ma manière de répondre consiste à invoquer un désir d’efficacité chez certains psychologues : il s’agit du désir du pouvoir d’affirmer de quiconque se prête au « diagnostic » qu’il est plus (ou moins, ou aussi) intelligent qu’une norme (i.e., la plupart des enfants) ou qu’un autre quelconque, sous couvert d’une autorité scientifique. L’adjectif « intelligent » peut être remplacé par tout adjectif évaluatif qui convienne au propos (par exemple, « anxieux », « honnête », « névrosé », « consciencieux », etc.). Je termine de répondre en ajoutant que ce désir d’évaluation d’autrui l’emporte sur le désir de connaître. En effet, dans le contexte du mesurage, le désir de connaître conduit à la connaissance du fait qu’on ne sait pas mesurer de grandeur avec des réponses à des items de tests. Le désir de connaître et le désir d’évaluer autrui sous couvert d’une autorité scientifique sont conflictuels.

Au début du XXe siècle, Alfred Binet et Théodore Simon (1907) règlent ce conflit en proclamant l’utilisabilité (c’est-à-dire, dans la rhétorique plus contemporaine de la doctrine de la validation des tests, la validité) de leur échelle métrique de l’intelligence pour l’évaluation scientifique du retard mental des enfants (voir leur article de 1907 intitulé « Le développement de l’intelligence chez les enfants »). Binet et Simon règlent le conflit psychique (connaître vs. évaluer) en négligeant les faits empiriques qui contredisent que les réponses aux tests de leur échelle soient des mesures ordinales (parce que ces réponses ne sont pas simplement ordonnées — attention ici aux variations terminologiques selon les époques : les tests de l’échelle de Binet et Simon sont les items du test de Binet et Simon). On retrouve le même mouvement institutionnalisant que celui qu’on remarque avec le modèle de Guttman ou, pour ce qui concerne l’accord inter-juges, avec le kappa de Cohen : on néglige les observations falsifiantes et on propose une convention que tout utilisateur intéressé par la nouvelle efficacité peut prendre à son compte. Le scientisme psychotechnique tient à l’opacité des motivations subjectives de la convention qui édicte l’efficacité contre les faits falsifiants, opacité qui offre le support de projection suffisant pour que le profane face confiance aux experts qui se sont constitués en adoptant (et en défendant) cette convention.

1. Le désir d’efficacité : René T., sept ans, a l’intelligence d’un enfant de huit ans

L’efficacité sociale de l’utilisateur de l’échelle de Binet et Simon tient à sa capacité à mesurer le nombre d’années d’avance ou de retard mental de tout enfant. L’évidence performative de l’emploi du terme « mesurer » suffit pour que soit reconnu, par consentement passif, le caractère scientifique d’une telle efficacité. Le détenteur de ce pouvoir d’évaluation affirme l’avance ou le retard mental grâce à un procédé scientifiquement validé. Si on demande au psychologue comment il sait que René T. a une avance d’un an, on étale humblement son ignorance et sa condition de non-expert. Si on persiste dans une telle demande de justification, on offense le psychologue parce qu’on met en doute son expertise. Si on est poli, on se tait et on respecte les règles du jeu social. Résultat : le scientisme gagne sur la scientificité en même temps que les experts d’un discours qui plaît au Prince prennent pied dans le champ social.

Persistons tout de même dans l’impertinence, puisque la transparence de Binet et Simon le permet. René réussit sept des huit items de son âge. On se réfère à la règle n° 1, selon laquelle « Un sujet a le développement intellectuel de l’âge le plus élevé dont il accomplit toutes les épreuves, avec tolérance d’un insuccès dans une des épreuves de cet âge » (p. 65). D’où l’administration des six épreuves de la catégorie « huit ans ». René réussit trois épreuves.  On se réfère à la règle n° 2 : « Une fois que le niveau intellectuel d’un sujet est fixé [ici, le niveau est fixé à 7 ans d’après la règle n° 1], on le fait bénéficier d’une avance de un an toutes les fois qu’il a exécuté au moins 5 épreuves supérieure à son niveau ; et on le fait bénéficier d’une avance de deux ans, s’il a exécuté au moins 10 des expériences supérieures à son niveau » (p. 65). On observe quatre réussites pour les six épreuves de « 9 ans ». Enfin, René réussit l’une des cinq épreuves de la catégorie « 10 ans » (je passe sur la question de savoir combien d’épreuves on doit compter). Verdict de Binet et Simon : « Il fait toutes les épreuves de sept ans, moins une. Donc, il est au moins du niveau de sept ans. En outre, il fait 8 épreuves des âges suivants [3 épreuves « huit ans » + 4 épreuves « neuf ans » + 1 épreuve « 10 ans »] : il est donc largement en avance d’un an sur son âge » (p. 68).

L’observation des réussites et des échecs aux items administrés constitue un problème d’observation et les auteurs soulignent la difficulté engendrée par la tâche de catégorisation que l’observateur doit effectuer. Mais, cette difficulté n’empêche pas le comptage du nombre de réussites/échecs, dont le résultat est nécessaire pour le jugement final via l’application des règles n° 1 et 2.

L’échelle métrique de l’intelligence est dite métrique parce que l’unité de mesure est une année de développement intellectuel. La question qui se pose est de savoir comment relier les réponses aux items de l’échelle (i.e., de la liste d’épreuves) à la grandeur « développement intellectuel ».

2. La négligence des faits falsifiants

Puisqu’on adopte une description binaire (échec vs. réussite) de la performance à tout item, le mesurage de la grandeur par les réponses suppose une fonction à deux paliers. Ainsi, si on considère que les réponses mesurent une quantité de développement intellectuel dans une population d’enfants donnée, les réponses devraient obéir à un modèle de Guttman ou, de manière équivalente, à une loi de comparabilité. Binet et Simon sont lucides sur ce point lorsqu’ils se demandent comment interpréter les m-uplets de réponses observés.

« Il est évident tout d’abord que, quel que soit l’ordre dans lequel on dispose les épreuves, on n’en trouvera jamais une seule qui soit telle que, lorsqu’on l’a franchie, toutes les précédentes soient franchies, et toutes les suivantes soient ratées » (p. 63). Binet et Simon posent ici le principe du mesurage ordinal par des m-uplets et admettent d’emblée que ce principe ne tient pas empiriquement. Ils poursuivent comme ceci : « On peut bien établir cet ordre d’épreuves pour un sujet particulier, mais ce même ordre ne sera pas satisfaisant pour un second ou pour un troisième » (p. 63). Cette remarque est cruciale : la difficulté d’un item n’est pas une propriété générale, c’est-à-dire qui vaut pour tous les enfants de la population considérée. Autrement dit, il est impossible de situer les réponses des enfants sur une même échelle de difficulté. Ceci est le résultat scientifique des observations scientifiques de Binet et Simon.

Nonobstant, les auteurs persistent dans leur désir d’ordonner les enfants en fonction de leurs réponses sur une échelle fantasmagorique d’âge de développement intellectuel, qui leur confèrerait le pouvoir du diagnostic du niveau de développement intellectuel de tout enfant. Il faut avoir en tête que Binet et Simon ont réalisé leurs travaux pour répondre à une commande de l’autorité politique de l’époque. D’où la surdétermination, ô combien contemporaine, des conclusions de leurs travaux : il était socialement impossible, i.e., inacceptable, de conclure à la non-mesurabilité du développement intellectuel des enfants par les techniques descriptives dont Binet et Simon avait accepté de se faire les champions.

3. La fabrication de l’expertise via la proposition de conventions

La solution de Binet et Simon est statistique dans le mauvais sens épistémologique du terme, c’est-à-dire qu’elle invente une réification. Les épreuves sont « rangées d’après l’âge où la majorité des enfants les exécutent ». La réification se trouve dans la notion de majorité. La majorité n’existe dans la psychologie d’aucun enfant, alors on l’introduit pour ainsi dire de force, par décret du désir de l’y trouver. Et les auteurs de poursuivre avec une candeur admirable : « C’est là notre échelle métrique de l’intelligence » (p. 58). Une fois que la convention d’ordonnancement des items est acquise, le problème consiste à trouver des items qui nécessiteront le minimum de conventions d’application, lesquelles sont les règles d’application n° 1 et 2 (présentées dans le paragraphe  1).

On sent l’affrontement du désir de scientificité et du désir d’efficacité sociale dans plusieurs passages de l’article. Par exemple, les auteurs soulignent la diversité non pas ordinale mais nominale des réponses observées : « Chaque enfant a son individualité ; tel réussit mieux l’épreuve A et échoue pour l’épreuve B ; tel autre, de même âge, échoue pour A et réussit au contraire pour B. A quoi tiennent ces différences individuelles dans les résultats expérimentaux ? Nous n’en savons rien au juste ; il est probable que les facultés mentales intéressées par les épreuves sont différentes, et d’un développement inégal suivant les enfants » (pp. 63-64). Autrement dit, les auteurs doutent de l’hypothèse princeps de leur projet d’échelle, selon laquelle les réponses aux items dépendent d’une seule grandeur. Mais, au lieu d’en déduire la non-mesurabilité de cette unique grandeur par les réponses aux épreuves de leur test, ils concluent illogiquement « qu’on ne peut déterminer le niveau intellectuel d’un enfant que par un ensemble d’épreuves » (p. 64).

Il est correct de conclure que l’évaluation du niveau de développement intellectuel sur la base de l’observation d’un m-uplet de performances nécessite une convention sociale pour palier l’absence d’une loi d’ordre naturelle. La nécessité d’une telle convention implique que la validation (i.e., certification) de l’échelle métrique de l’intelligence n’est pas une question scientifique, mais une question sociale. L’utilité de l’évaluation du retard ou de l’avance de développement peut être défendue sur une base sociétale et éthique (par exemple, il est bon que les enfants puissent être pris en charge dans des conditions éducatives adaptées à leurs performances intellectuelles — mais est-il bon que l’institution scolaire établisse, sous couvert de la science psychologique naissante, qu’un enfant est ou bien normal ou bien retardé ?). Pour autant, les psychologues ne devraient pas participer à la réification du niveau de développement intellectuel, qui, parce qu’elle repose sur la fausse idée de sa mesurabilité, conduit à une forme de scientisme sans lequel la naturalisation quantitative de la catégorie d’enfant retardé est impossible.

Terminons avec la mise en garde de Binet et Simon : « … la dite convention, si bonne qu’elle soit, donnera toujours au procédé un caractère artificiel ; à tel point que si, par hasard, on avait adopté une convention autre, on serait arrivé à des résultats sensiblement différents. Nous croyons nécessaire d’insister à ce sujet ; car nous serons conduits, plus tard, pour la simplicité du langage [là se trouve l’efficacité sociale], à dire qu’un enfant de huit ans a une intelligence d’enfants de sept ans ou de neuf ans ; ces expressions, par ce qu’elles ont d’absolu, pourraient donner lieu à des illusions » (pp. 64-65).

Référence

Binet, A., & Simon, T. (1907). Le développement de l’intelligence chez les enfants. L’ Année Psychologique, 14, 1-94.

Cite this article as: Stéphane Vautier, "19a. L’évaluation du retard mental selon Binet et Simon", in Épistémologie de la psychologie, 20/06/2014, https://epistemo.hypotheses.org/1575.

18a. Qu’est-ce qu’une contribution scientifique en psychologie ?

Résumé. Les contributions scientifiques qu’on peut espérer en psychologie consistent à dépolluer la littérature, en isolant (1) les résultats empiriques fondés sur un simulacre de mesurage et (2) les propositions théoriques non testables. Complémentairement, un inventaire des questions ouvertes serait certainement très utile aux chercheurs en quête d’énigmes à résoudre.

Dans la recherche en psychologie la mise en œuvre d’un attirail d’analyses statistiques automatiques prévaut sur la pensée critique cependant que les équipes comme les personnes, candidates à un renouvellement, un recrutement ou une promotion, acteurs dans les instances d’évaluation,  co-construisent le pouvoir du « publish or perish ». Moins nous sommes capables, individuellement et collectivement, de définir nous-mêmes ce que nous appelons une contribution scientifique, plus nous honorons les indices bibliométriques.

Définir ce qu’est une contribution scientifique de manière générale est une gageure. On peut au moins proposer quelques éléments de réponse utiles pour motiver voire cadrer un projet de recherche particulier. Deux grandes catégories sont distinguables : (1) les contributions théoriques répondent à des questions de définition1, ou de logique2, tandis que (2) les contributions empiriques précisent ou complètent la connaissance qu’on a de certains phénomènes3. Dans les deux cas, un travail de recherche est une contribution s’il apporte quelque chose de neuf aux connaissances actuelles.

D’où la nécessité de  disposer d’un état des connaissances théoriques et empiriques relatif à son domaine d’investigation, pour montrer qu’on peut passer d’un état a à un état b des connaissances. Un cadre formel de description des connaissances est alors nécessaire — et si on ignore ce qu’il peut être, on a du pain sur la planche.

Lorsqu’on essaie d’appréhender l’état des connaissances à partir de la « littérature » (i.e., le discours officiel d’une communauté scientifique), on tombe souvent sur une masse impressionnante de propositions inintelligibles (ou qui donnent une impression fallacieuse d’intelligibilité, ce qui est pire). Si le refus de cette inintelligibilité suscite l’indifférence de la communauté qui se constitue par ce discours, alors on a un problème éthique vis-à-vis de notre responsabilité critique (cf. Lumsden, 1973 ; Michell, 2004 ; Rozeboom, 1984).

Comme le chercheur souhaite, légitimement, être coopté par la communauté à laquelle il s’adresse, il va apprendre à parler ce discours — bien souvent, lorsqu’il est étudiant, sous l’autorité de ses superviseurs académiques. On arrive ainsi, par la valeur adaptative du conformisme socio-technique qui règne dans ce que Max Notturno (2000) appelle l’institution scientifique, à une situation où il est presque impossible de remettre en cause la manière même dont une communauté scientifique détermine ce qui est pertinent et ce qui ne l’est pas (cf. Horkheimer et Adorno, 1974 ; Morin, 2008)4.

L’attitude que je défends consiste à ne pas céder à l’injonction conformiste si on a de bonnes raisons de penser qu’elle conduit à un simulacre d’activité scientifique. C’est évidemment le cas si on doit faire semblant de mesurer des construits comme l’anxiété, l’estime de soi et autres grandeurs psychologiques qui peuplent l’imaginaire de la psychologie contemporaine, en injectant des scores dans des analyses statistiques valorisées (notamment la modélisation des données avec des variables latentes). Le chercheur doit alors entreprendre un travail de dépollution intellectuelle (cf. Lakatos, 1978) avant de et pour pouvoir poser une authentique question scientifique.

Plusieurs approches de la « pelote de fils » sont possibles ; dans tous les cas il s’agit de mettre en place une méthodologie d’analyse d’un corpus de textes. Dans une perspective empirique, on peut tenter l’inventaire des variables utilisées, en commençant par dégager leurs modalités descriptives. Bien souvent, ces modalités sont des scores qui simulent un mesurage.  La question scientifique qui se pose d’une manière générale est celle de la mesurabilité des grandeurs auxquelles on s’intéresse. La question à laquelle on est ensuite ramené consiste à savoir ce qu’on décrit effectivement avec les techniques utilisées et on débouche classiquement sur un cadre descriptif qui est un produit cartésien rempli de m-uplets partiellement ordonnés (20a). La question qui se pose enfin est de savoir si on connaît des conditions telles que certains m-uplets soient théoriquement impossibles. Comme la littérature est muette sur la question, le chercheur est comme un explorateur abordant un continent vierge. Ce continent n’est sans doute pas un Eldorado et la tâche s’annonce ingrate.

Si on tire le fil de la théorie, la question cruciale concerne la falsifiabilité des propositions théoriques, qui doivent être logiquement connectées à certains concepts descriptifs empiriques. Aussi somptueuse soit-elle, une théorie qui ne peut pas être mise à l’épreuve des observations est une vision pour croyants. Un scientifique peut être un croyant, mais, en tant que logicien, il subordonne ses croyances aux faits empiriques qu’il connait, en particulier si celles-ci sont en contradiction avec les faits. On peut se perdre des années dans les limbes d’une belle théorie sans « toucher terre » une seule fois. Le problème d’une théorie non empirique ou empirique mais probabiliste, c’est-à-dire qui n’exclut rien, est qu’elle n’explique rien (4a).

Voir aussi 23a.

Cite this article as: Stéphane Vautier, "18a. Qu’est-ce qu’une contribution scientifique en psychologie ?", in Épistémologie de la psychologie, 17/06/2014, https://epistemo.hypotheses.org/1520.

  1. e.g., comment définir le mesurage en psychologie ? (3a). []
  2. e.g., quelles propriétés doivent posséder les réponses à des items de tests si ce sont des mesures ? (11a). []
  3. e.g., deux juges ne sont pas interchangeables dans tel type de situations (8a) ou encore, les réponses de certaines personnes à un certain test ne sont pas des mesures ordinales (13a). []
  4. Un article qui approche les données de questionnaires autrement que par la modélisation psychométrique a toutes chances d’être rejeté parce qu’on n’admet pas que ces données ne soient pas analysées selon l’usage en vigueur ; le fait même que ledit article présente des arguments contre l’usage analytique en vigueur aggrave ses chances d’être rejeté. []

17a. Combien font deux oranges plus trois citrons ? Le méli-mélo conceptuel de Laveault et Grégoire

Dans leur « Introduction aux théories des tests en psychologie et en sciences de l’éducation » (2002), Dany Laveault et Jacques Grégoire abordent la notion de score composite, « résultat de l’addition des scores aux items du test » (p. 98), en posant la question « combien font deux oranges plus trois citrons ? ». On pourrait voir dans le choix d’un tel titre de paragraphe l’intention de critiquer l’usage des scores composites : « et » n’est pas « plus » et les scores composites ont une signification obscure. Mais quand on lit la suite, on se rend compte que la portée critique de la question semble leur échapper : les auteurs exposent trois façons d’y répondre :

« 1. nous pouvons refuser de faire l’addition, considérant qu’il s’agit de deux catégories différentes ;

2. nous pouvons ramener chaque ensemble à un ensemble qui les contient tous les deux (p.e. la catégorie des fruits) et effectuer l’opération à l’intérieur de cet ensemble plus large. Dans notre exemple, la réponse est alors ‘cinq agrumes’ ou ‘cinq fruits’ ;

3. nous pouvons aussi ignorer les caractéristiques communes à chaque ensemble et répondre comme plusieurs jeunes enfants de six ans : ‘deux pommes plus trois oranges font cinq compotes' » (p. 98).

Les auteurs poursuivent en établissant un parallèle entre ces trois attitudes et trois manières de justifier le score composite. La première attitude consiste à justifier un « profil de scores », c’est-à-dire un profil de sous-scores composites, chaque sous-score correspondant à un sous-test du test. La seconde attitude, justifiant le score composite, consiste à négliger les spécificités des items pour s’en tenir au « postulat qu’il ont tous au moins quelque chose en commun » (p. 98). La troisième solution consiste à restreindre la signification du score composite à un comptage : « A la question de départ, les réponses ‘cinq végétaux’ ou ‘cinq choses’ n’ont de précis que le chiffre » (p. 98).  Ce billet identifie quatre erreurs dans leur propos.

1. L’analogie entre addition des scores élémentaires et addition d’objets hétéroclites

Dans l’analogie, les scores aux items (les scores élémentaires) du test jouent le rôle d’objets hétéroclites (deux oranges, o1, o2 et trois citrons c1, c2 et c3). Mais l’analogie s’arrête quand on s’aperçoit de ce que, si les oranges et les citrons de l’ensemble {o1, o2, c1, c2, c3} peuvent constituer des unités de compte fondées sur l’abstraction (combien de fruits et, de manière plus générale, d’objets, compte-t-on ?), les scores élémentaires ne sont pas nécessairement des unités de compte. On peut compter le nombre de réussites lorsque les réponses aux items sont scorées 1 pour réussite et 0 pour échec ; par exemple, on compte trois réussites dans le 6-uplet (0, 0, 1, 0, 1, 1). Lorsque les formats de réponse sont des échelles de Likert, les scores élémentaires n’ont pas de signification comptable (pour une approche détaillée de la réponse à un test, voir 42a) ; par exemple, que compter dans le 5-uplet (2, 5, 2, 1, 7), où les nombres indiquent un degré d’accord sur une échelle de Likert en sept points ?

Justifier l’additivité des scores élémentaires en utilisant l’analogie d’une collection d’objets suppose de restreindre le propos aux tests formés par des items dont la réponse est décrite dans le référentiel {échec, réussite}. Ne pas expliciter cette restriction, c’est commettre une erreur de généralisation : on peut additionner les réussites donc (invalidité logique) tous les score élémentaires sont additifs (au sens du comptage de certains types d’événements).

2. Des sous-scores pour des sous-catégories

On peut très bien distinguer des catégories d’items comme on distingue la catégorie des oranges de celle des citrons ; par exemple, dans un test de personnalité, on pourra distinguer les items d’anxiété des items de dépression. On pourra dénombrer les items de chaque catégorie mais cela n’implique pas que les scores élémentaires aux items d’une même catégorie soient additifs. Or qui dit « profil de scores » dit « additivité » des scores aux items d’une certaine catégorie.

Laveault et Grégoire n’explicitent pas le problème de l’additivité des scores élémentaires parce qu’ils n’explicitent pas le problème du mesurage : en quoi un score élémentaire est-il une mesure ? Si un score élémentaire est une mesure, c’est une mesure ordinale, c’est-à-dire que ce score est le résultat d’un processus de mesurage qui, à toute quantité d’une certaine grandeur, permet l’attribution d’un certain score élémentaire. Ce processus est formalisé par une fonction croissante par palier (cf. 5a et cours de mesurage, vidéo 3). Si on suppose que les scores élémentaires de (2, 5, 2, 1, 7) mesurent la même quantité q via cinq fonctions de mesurage (une par item), chaque score désigne un segment de quantités qui contient q et l’addition des scores consiste, par hypothèse, à additionner des segments, ce qui n’a pas de sens parce que l’addition n’est pas définie sur des segments. Ainsi, une deuxième erreur dans le propos des auteurs consiste à ne pas spécifier le problème théorique que posent les scores composites lorsqu’on veut les interpréter comme des mesures (voir aussi, pour une approche formalisée, 11a).

3. Évaluer

Une troisième erreur de Laveault et Grégoire consiste dans l’omission de la finalité évaluative des scores composites. La note d’une copie a pour vocation non pas de mesurer quoique ce soit mais de donner une valeur sociale à un étudiant via sa copie : l’étudiant obtiendra (ou pas) telle unité de valeur et, finalement, tel diplôme. Le score à un test est utile s’il permet de conférer à l’individu qui a obtenu ce score une certaine valeur psychologique (par exemple, on dira que ses fonctions cognitives sont efficientes, déficientes, normales, ou que sa personnalité est normale ou pathologique, en s’appuyant sur une norme psychotechnique).

Si on réalise que, comme dans une copie, les scores élémentaires sont des unités de valeur relatives à un certain construit (et peu importe que ce construit soit « pur » ou bien « composite »), il n’y a plus de problème d’additivité puisqu’on additionne des unités de valeur dans le cadre d’une convention sociale d’évaluation. La question à laquelle on peut répondre n’est pas « combien font deux oranges plus trois citrons », mais « que valent deux oranges et trois citrons ? » Si les oranges et les citrons forment un lot, l’addition des valeurs de chacun de ces fruits est la valeur du lot qu’ils composent — comme en économie, où le prix rend (la valeur de) toute chose comparable à (la valeur de) toute autre chose (voir aussi Jacquard, 1991, chapitre « L’économie de marché, masque de la réalité »).

4. Additionner des scores d’items suppose de postuler que « ces items mesurent sensiblement le même trait » (p. 98)

Une quatrième erreur contenue dans le propos des auteurs réside dans le rejet implicite du principe logique de non-contradiction. Quelle définition du mesurage serait compatible avec la possibilité de mesurer « sensiblement le même trait » ? Soit les items considérés mesurent le même trait (où « trait » est synonyme de « grandeur »), soit ils mesurent des traits distincts. Comment concevoir que deux traits distincts soient « sensiblement » identiques ? L’idée du « sensiblement le même » est une impossibilité logique : « être le même que » est une relation d’équivalence :  a est le même que b ou bien il ne l’est pas.

5. Conclusion

Si on reconnaît que les scores servent à situer les gens dans des échelles de valeurs, comme les prix servent à donner une valeur monétaire à toute chose qui tombe dans le domaine du marché1, alors on reconnaît que le problème de la validation des tests est un problème de philosophie sociale. Ce problème consiste à savoir comment se fabrique un « marché » des valeurs psychologiques et comment ce marché fixe les « prix » — la technique classique consistant à établir ce qu’on appelle malicieusement, dans la doctrine, un étalonnage, ce qui n’a rien à voir avec l’étalonnage instrumental, par exemple l’étalonnage d’un pH-mètre. Et on reconnaît que l’évaluation psychotechnique relève des sciences sociales comme le droit et l’économie : c’est cet aspect proprement social, par opposition à naturel, que la doctrine de la validation des tests escamote en habituant ses thuriféraires à l’idée que les tests sont des instruments de mesure.

Référence

Jacquard, A. (1991). Voici le temps du monde fini. Paris : Seuil.

Laveault, D. & Grégoire, D. (2002). Introduction aux théories des tests en psychologie et en sciences de l’éducation (2e éd.). Paris : De Boeck Université.

Cite this article as: Stéphane Vautier, "17a. Combien font deux oranges plus trois citrons ? Le méli-mélo conceptuel de Laveault et Grégoire", in Épistémologie de la psychologie, 28/05/2014, https://epistemo.hypotheses.org/1243.

  1. Par exemple, le marché du droit à polluer monétarise l’environnement naturel. []

16a. La théorie classique des tests : un triple désastre scientifique

La théorie classique des tests sous-tend la plupart des travaux de validation des tests psychologiques mais n’explique pas comment tout score mesure une quantité. Elle interprète seulement tout score comme le résultat d’une expérience aléatoire. Cette expérience aléatoire est modélisée par une loi de probabilité qui, à tout score possible au moment où la personne à laquelle on s’intéresse est testée, associe une probabilité. Munir l’ensemble des scores possibles d’une loi de probabilité permet de définir une variable aléatoire numérique caractérisée par une espérance mathématique. Cette espérance mathématique est requalifiée en « score vrai », si bien qu’en vertu de cette construction mathématique, tout score est doté du score vrai et d’une erreur de mesure, résidu arithmétique qui comble l’écart entre le score et le score vrai.

Si les utilisateurs de scores considèrent que ceux-ci contiennent un score vrai et dès lors qu’ils utilisent une interprétation réaliste naïve de la notion de vérité (le score vrai est le score réel), ils peuvent tout naturellement croire que les scores mesurent le score réel. Mais la théorie classique des tests les empêche de revendiquer la validité logique des interprétations élémentaires qu’ils peuvent faire des scores, à cause de l’absence de restriction de l’erreur de mesure. Par exemple, ce n’est pas parce que Paul  a vu son score d’anxiété diminuer d’hier à aujourd’hui que son score vrai a diminué ni que son anxiété a diminué. Et encore, Paul a un QI plus élevé que Julie, mais cela n’implique pas que le QI vrai de Paul soit supérieur au QI vrai de Julie. Par conséquent, adopter la théorie classique des tests comme cadre statistique pour la validation des tests revient à adopter la norme épistémologique selon laquelle des interprétations logiquement invalides sont acceptables pour une pratique d’utilisation des scores qui revendique la scientificité — on admet dans la communauté des psychologues que les tests sont « scientifiquement validés ».

Du point de vue scientifique, l’emploi de cette théorie est un triple désastre.  Tout d’abord, en remplaçant l’exigence de « validité logique » par celle de « validation sociale », elle brouille la signification de ce qu’est une conclusion scientifiquement fondée. Pour qu’une conclusion, déduite d’une théorie et de certaines observations, soit scientifiquement fondée, il faut que les observations soient objectives à défaut d’être vraies (qui sait prouver qu’elles sont vraies ?) et que la théorie qui permet de les interpréter soit corroborée, c’est-à-dire testée avec succès (i.e., testée et pas falsifiée).

Ensuite, l’emploi de la théorie classique des tests permet aux psychologues d’ignorer que mesurer une grandeur grâce à l’observation de certains phénomènes suppose (condition nécessaire) que ces phénomènes s’inscrivent dans un ordre simple. La vérité de cette dernière proposition est testable (voir la notion de fonction de mesurage) et elle est invraisemblable (voir la définition).

Enfin, en établissant l’agrégation numérique des faits qualitatifs comme canon de la description objective pour édifier une psychologie quantitative, elle incite les psychologues chercheurs à sous-estimer les enjeux théoriques de toute méthodologie descriptive (voir la discussion du kappa de Cohen ou l’article Anecdotes statistiques inexpliquées par exemple), en institutionnalisant notamment l’ignorance de la différence conceptuelle entre ordre simple et ordre partiel ; laquelle, à ma connaissance, n’est exposée que par un manuel de méthodologie en psychologie — « An introduction to the logic of psychological measurement » de Joel Michell (1990).

Cet article développe les points qui précèdent (1) en précisant le concept de score vrai, (2) en déduisant que la comparaison de deux scores considérés comme mesures relève de la divination, (3) en soulignant que la modélisation probabiliste n’a rien à voir avec la théorisation de fonctions de mesurage, et (4) en concluant que les scores psychotechniques ne devraient pas masquer les m-uplets empiriques sur lesquels ils reposent.

1. Le score vrai

Le concept de score vrai contenu dans un score repose sur deux concepts, à savoir une échelle de scores possibles et une distribution de probabilité qui, à tout score, associe une probabilité. A ma connaissance, la théorie classique des tests, comme toute théorie psychométrique, ne se pose pas la question de savoir si les probabilités existent et comment on pourrait les connaître de manière testable.

Supposons une échelle de k scores xi, i = 1, 2, …, k. La théorie postule la loi de probabilité {pi, i = 1, 2, …, k} (ce qui implique que la somme des probabilités est égale à 1). Elle postule ainsi une variable aléatoire dont l’espérance est, par définition, la somme des scores de l’échelle pondérée par leurs probabilités, soit

score vrai = p1 x1 + p2 x2 + … + pk xk = Σ pi xi.

2. Comparer deux scores, c’est faire de la divination

On voit bien les difficultés insurmontables que pose cette approche pour l’utilisation élémentaire des scores : comment déduire de deux scores quoi que ce soit concernant les scores vrais ? Par exemple, Paul et Julie ont un QI de 120 et 130 points, respectivement. Peut-on en déduire que le QI vrai de Paul est inférieur au QI vrai de Julie ? Comme on ignore les lois de probabilité postulées pour interpréter les deux QI comme le résultat de deux expériences aléatoires, on ignore les deux scores vrais. Le score vu par la théorie classique des tests est au désir du psychologue ce que la boîte de Saint-Exupéry est au désir du Petit Prince : une boîte pour un mouton inaccessible, une coquille statistique pour un nombre inaccessible.

3. Le score vrai ne mesure rien

L’idéalisation dont procède la postulation de lois de probabilité proliférant dans un espace métaphysique masque le problème fondamental du mesurage. Le mesurage repose sur une métaphysique de la quantité, qui ne coïncide pas avec celle des probabilités. En effet, une probabilité est une quantité non mesurable (pour un autre angle d’attaque, voir aussi la section 2 de l’article 22).

Si une probabilité était mesurable, on saurait invoquer une fonction croissante qui, à tout point de [0, 1], associe un et un seul point dans un ensemble de valeurs observables. Je ne vois pas ce que peut être un tel ensemble et il est clair que l’ensemble des fréquences ne convient pas, puisqu’une probabilité quelconque de ]0, 1[ est associée à au moins deux fréquences observables. Il suffit d’envisager au moins deux expériences aléatoires fondées sur la même loi de probabilité et dont les résultats sont différents. Par exemple je lance une pièce et j’observe pile. Je lance la même pièce et j’observe face. La fréquence de l’événement « pile » associée à la probabilité 1/2 est 1 si je considère la série « pile », 1/2 si je considère la série « pile, face ».

La théorie classique des tests brouille le concept de mesurage, puisqu’elle détourne l’attention du processus de mesurage dont le score devrait être le résultat, en la focalisant sur le score vrai, dont la valeur reste néanmoins inaccessible, même par encadrement (i.e., par minoration et majoration).

4. Les scores sont des événements qualitatifs composés

En tant que théorie statistique, la théorie classique des tests oblitère la signification empirique, expérimentale, ou encore instrumentale des scores. Les scores de tests sont traités comme des données au sens propre du terme. Le psychométricien ne veut rien savoir de leur origine, il les accepte sans réserve, abandonnant au psychologue (non statisticien) la responsabilité de leur fabrication. Une telle division du travail est constitutive d’un jeu de dupes qui s’organise au service de l’impossibilité de rejeter les scores pour inadéquation scientifique.

L’article Scorage vs. mesurage détaille le processus de fabrication des scores à l’aide des notions de fonctions descriptive et de scorage. La première, notée X, associe un m-uplet de réponses à toute unité d’observation ; la seconde, A, associe un score à tout m-uplet. Pas de score sans m-uplet. La division du travail instituée par la théorie classique des tests, par son cantonnement à l’analyse statistique des scores, permet que la communauté entière des utilisateurs de scores puissent ne pas buter sur l’évidence selon laquelle, pour mesurer une grandeur avec des observables, il faut que ces observables soient simplement ordonnés. Or les observables psychotechniques sont des m-uplets.

Comment ordonner simplement des m-uplets ? Par exemple, comment ordonner (0, 0, 1) et (1, 1, 0) ? Ou encore, comment ordonner simplement les points flottant dans un cube ? Dès lors que la démarche descriptive est multivariée, son espace de description n’est pas un ordre simple parce qu’un ordre simple est un espace à une dimension, dans lequel les objets s’échelonnent, se placent à la queue leu leu (avec possibilité d’ex æquo).

Le théoricien classique des tests omet de remarquer que 0 et 0 et 1 n’est pas 0 plus 0 plus 1. Cette omission est théoriquement condamnable, puisque la théorie des probabilités, domaine de compétence psychométrique, repose sur ce qu’Alfred Rényi, dans le premier chapitre de son traité de « Calcul des probabilités » (1966), appelle une algèbre d’événements. Le « et » logique y est défini comme un produit et non pas comme une addition, cette dernière correspondant au « ou » logique.  Le triplet (0, 0, 1) — plus généralement, un m-uplet — n’est pas une somme mais un produit logique. C’est un événement composé, une co-occurrence, ou encore une conjonction logique — du point de vue chronologique, il faut négliger le temps nécessaire à l’obtention des réponses pendant la durée du test. Il est temps que les psychologues, dans leur effort de scientificité, reprennent la main sur l’élaboration théorique de leurs données.

Références

Michell, J. (1990). An introduction to the logic of psychological measurement. Hillsdale, NJ: LEA.

Rényi, A. (1966). Calcul des probabilités. Paris: Dunod.

Cite this article as: Stéphane Vautier, "16a. La théorie classique des tests : un triple désastre scientifique", in Épistémologie de la psychologie, 28/05/2014, https://epistemo.hypotheses.org/1054.

15a. Anecdotes statistiques inexpliquées

La recherche en psychologie est friande de ce que j’appelle des anecdotes statistiques inexpliquées. En voici un exemple tiré d’un de mes groupes de TD (travaux dirigés).

Trois étudiants de seconde année de psychologie se sont intéressé à la manière dont les passants tiennent compte de la présence de mendiants selon que ceux-ci offrent ou pas un spectacle (le terme « mendiant » est ici utilisé dans un sens opérationnel : un mendiant est toute personne qui signifie aux passants qu’elle accepte de l’argent). Comme l’indique la table de contingence ci-dessous, la proportion des gens qui passent loin (à plus d’un mètre) est de 59 % lorsque le mendiant offre un spectacle et de 30 % lorsqu’il n’en offre pas.

Passants

La coutume méthodologique consiste à voir dans ce type de résultat statistique l’influence d’une variable (indépendante, VI) sur une autre (dépendante, VD) et il s’agit de démontrer un « lien » entre la VI (présence vs. absence de spectacle) et la VD (passer près vs. loin). Les étudiants sont formés à tester l’hypothèse nulle d’indépendance (stochastique) entre les deux variables, à savoir, ici, que la probabilité que la VD prenne une certaine valeur ne dépend pas de la valeur que prend la VI.

Cet article montre en quoi considérer la mise en évidence d’un effet statistique comme une fin en soi de la recherche en psychologie serait inapproprié et propose une focalisation plus théorique que statistique1. Une relation (liaison ?) statistique n’est pas nécessairement une explication déterministe ni une explication probabiliste (non-déterministe), donc pas nécessairement une explication. Pour qu’une explication soit possible, il faut qu’elle porte sur un phénomène et pour qu’un phénomène soit possible, il faut qu’il affecte une entité. Or le concept mathématique de population statistique ne suffit pas pour donner corps à un objet de science. Le statisticisme consiste à se contenter de croire que cela n’a pas d’importance.

1. Une relation statistique n’est pas forcément une explication déterministe

Supposons que les étudiants aient observé suffisamment de passants pour pouvoir exhiber le sacro-saint p < .01 qui doit accompagner le résultat, « les proportions observées sont significativement différentes ». Que le mendiant offre ou pas un spectacle n’explique pas, en un sens déterministe, le phénomène « passer près (ou loin) de celui-ci ». En effet :

  • « Offrir un spectacle » n’est pas une condition suffisante à « passer loin » parce qu’il existe 41 % de contre-exemples — la prédiction est fausse quatre fois sur 10 ;
  • « Ne pas offrir un spectacle » n’est pas non plus une condition suffisante à  « passer près » parce qu’il existe 30 % de contre-exemples.

Il est inutile de raisonner en termes de conditions nécessaires : (i) si « offrir un spectacle » était une condition nécessaire à « passer loin », « passer près » serait une condition suffisante à « ne pas offrir un spectacle », ce qui est absurde du point de vue temporel donc causal ; (ii) si « ne pas offrir un spectacle » était une condition nécessaire à « passer près »,  « passer loin » serait une condition suffisante à « offrir un spectacle », ce qui est absurde d’un point de vue temporel donc causal.

2. Une relation statistique n’est pas forcément une explication probabiliste

Dire « si les mendiants proposent un spectacle, les gens (qui ne donnent rien) ont plus tendance à passer loin », revient à invoquer une fiction sociale : « les gens », ou encore le passant typique. Or le passant typique n’existe pas du point de vue du concept de population statistique d’unités statistiques (e, t), i.e., de personnes e considérées à un moment t (voir 24a). L’hypothèse nulle porte sur l’espérance de deux variables conditionnelles : E(VD|VI = spectacle) et E(VD|VI = pas de spectacle) — dans le cas d’une variable dichotomique à valeurs dans {0, 1}, la probabilité que la VD prenne la valeur 1 est l’espérance de la VD.

Quelle hypothèse générale permettrait d’attendre une différence de proportions ? En remplaçant « les gens » par « tout passant », on obtient la proposition « tout passant a plus tendance à passer loin des mendiants si ceux-ci proposent un spectacle » (forme relative d’explication probabiliste, voir 25a, 4.2). Or ce n’est pas l’hypothèse testée puisqu’on observe certains passants une seule fois dans une seule condition au lieu d’un grand nombre de fois dans les deux conditions.

Pour défendre la stratégie de recueil des données, il faut supposer que tout passant dans quelque condition que ce soit ait la même tendance que tout autre dans la même condition. Ainsi, l’expérience aléatoire qui consiste à observer un passant n fois est équivalente à l’expérience aléatoire qui consiste à observer n passants une fois. Mais cette supposition est invraisemblable ; Paul n’est pas interchangeable avec Julie : ce sont deux personnes distinctes et on ne voit pas pourquoi ils devraient avoir les mêmes tendances.

Les fréquences rapportées dans la table de contingence ci-dessus n’estiment la tendance de personne en particulier ni de personne en général. Le support ontologique de l’effet observé consiste en deux agrégats de personnes, mais on ne sait attester cet effet chez personne.

Les résultats démontrent seulement la possibilité que la présence ou l’absence de spectacle intervienne dans le processus déterminant la distance que quiconque applique pour passer devant un mendiant (lorsqu’il ne donne rien), mais ce processus est une opacité scientifique.

Une telle affirmation de possibilité nécessite-t-elle l’effort empirique consenti ? Oui du point de vue du pouvoir : un mendiant se fait plus « respecter » s’il offre un spectacle2 ; pas vraiment du point de vue de l’explication scientifique du comportement des passants.

3. Il faut chercher des conditions nécessaires ou suffisantes au comportement observé

Qu’est-ce qui empêche quelqu’un de passer à moins d’un mètre d’un mendiant sur le trottoir ? Pas sa présence pour certains passants. Qu’est-ce qui suffit pour que quelqu’un respecte une distance d’au moins un mètre quand il passe devant un mendiant ? Pas un spectacle pour certains passants. L’analyse explicative suppose de s’intéresser non pas au passant typique qu’on dote de tendances dépendant des situations, mais à des passants particuliers. Découvrir une explication générale, c’est-à-dire valable pour tout passant, suppose qu’on dispose d’une explication pour certains passants. Et il n’est pas certain que les conditions qui sont nécessaires ou suffisantes pour Paul le soient pour Julie. La méthodologie orthodoxe, focalisée sur le « sujet typique », ignore ces remarques logiques.

Une fois qu’on admet que le problème se pose pour chaque passant, il reste à imaginer ce qui se passe pour chaque passant, qui puisse expliquer la manière dont cela détermine son comportement dans la situation cible. Par exemple, il suffit que Paul s’avise de la présence d’un mendiant pour qu’il se donne comme règle de conduite de ne pas passer trop près, quitte à s’arrêter si le passage est obstrué, à condition toutefois qu’il ne soit pas en train de fuir une menace mortelle. Paul n’a pas conscience de la présence d’un autre mendiant parce qu’il est absorbé dans ses pensées, donc il passe trop près conformément à sa trajectoire initiale. Ou bien son attention est attirée par les sons de la guitare du mendiant si bien qu’il dévie son pas pour le contourner. Julie ne perçoit pas l’impolitesse de passer à moins d’un mètre d’un mendiant ; par conséquent, même si elle remarque que celui-ci est en train de jongler, même si elle n’est pas pressée, elle pénètre dans sa « zone proximale » si sa trajectoire initiale fait qu’elle doit passer à moins d’un mètre de lui.

4. Que signifie une fréquence « de population » ?

De telles conjectures sont nécessaires si on veut expliquer le phénomène à l’échelle individuelle, mais elles ne suffisent pas forcément pour expliquer le phénomène à l’échelle de l’agrégation de personnes distinctes.

Ainsi par exemple, supposons que les gens passant à moins d’un mètre d’un mendiant avec spectacle ne jugent pas que ce comportement soit impoli (sinon, ils dévieraient leur trajectoire, en négligeant pour simplifier qu’ils se permettent d’être impolis). Dire que 41 % des passants ne trouvent pas impoli de passer à moins d’un mètre d’un mendiant consiste à invoquer la manière dont se distribuent les passants (placés dans ce type de situations) : dans la classe de ceux qui passent près ou bien dans celle de ceux qui passent loin.

Mais, puisque nous voulons ici penser statistiquement, comment définir la population statistique, ou encore la classe de référence, des passants, autrement que comme la virtualité qu’est l’ensemble de toutes les personnes qui auraient pu être des passants ? Je crois que personne ne le sait. Donc les statistiques de population décrivent on ne sait quoi.

Si bien que ce résultat statistique, dont la signification (p < .01) peut très bien être répliquée dans d’autres situations d’observation analogues, reste inexpliqué. La sophistication des méthodes de modélisation des données à laquelle on assiste en psychologie ne doit pas permettre d’oublier le manque d’explication théorique : invoquer des lois de probabilité et mobiliser des méthodes d’estimation paramétriques automatiques, ce n’est pas expliquer. Expliquer scientifiquement un comportement, c’est imaginer et tester des conditions nécessaires ou suffisantes à l’échelle de chaque personne (approche déterministe), ou bien supposer l’existence de probabilités (tendances) qu’on peut approcher via une grande quantité d’observations ; si on n’est pas en mesure d’effectuer cette grande quantité d’observations sur la même personne, l’explication probabiliste, ou encore l’idée de tendances de cette personne à se comporter d’une certaine manière selon qu’elle se trouve dans telle ou telle situation, est une spéculation dont la vérité est incontrôlable donc incontrôlée.

5. Autre exemple

Selon un autre groupe d’étudiants, quand le chauffeur du bus d’une certaine ligne à Toulouse dit « bonjour », 91 % des gens qui montent disent « bonjour » à leur tour, tandis que lorsqu’il (au sens générique) ne dit rien, cette proportion chute à 51 %. Quand il dit « au revoir », 90 % des gens qui descendent disent « au revoir » ou « merci », contre 62 % quand il ne dit rien. Jolis effets d’amorçage, qui intéressent les chauffeurs sensibles à l’amélioration du climat psychosocial dans leur bus, mais l’effet d’amorçage n’explique pas ces résultats puisque certains amorçages ne provoquent pas de comportement de politesse chez certains passagers et que ce comportement se manifeste sans amorçage chez d’autres !

Il est néanmoins envisageable de suivre une certaine personne qui prend le bus dans la durée, pour comparer par exemple la fréquence de ses « bonjour » lorsque le chauffeur dit « bonjour », à la fréquence de ses « bonjour » lorsqu’il ne dit pas « bonjour ». Beaucoup d’efforts pour un résultat modeste (voir Atlan, 1986)…

Voir aussi la conférence « Le ‘sujet’ de la santé entre science, psychanalyse et philosophie » de Bruno Falissard.

  1. les articles 24a et 25a sont peut-être des prérequis pour le lecteur. []
  2. Mais il s’expose davantage à la police municipale. []

14a. Explication, nécessité, condition suffisante vs. nécessaire

Je défends l’idée que l’explication scientifique d’un phénomène revient à invoquer une nécessité objective. Lorsqu’on recourt à la notion de loi probabiliste1, il faut admettre que l’état momentané d’une entité soit intrinsèquement indéterminé, ce qui n’est pas la même chose qu’admettre qu’il est déterminé par des causes… qu’on ignore2.

Soit un phénomène décrit par l’énoncé p. La notation a → p signifie a cause p, où a est un énoncé décrivant un autre phénomène. La proposition ‘a → p’ peut aussi se lire ‘a provoque, engendre, déclenche p’.

Considérons la proposition b → non-p : un phénomène décrit par b cause non-p, c’est-à-dire bloque, empêche p.

Si a → p et si on sait provoquer a, on sait provoquer p. Si b → non-p et si on sait provoquer b, on sait prévenir p.

Remarque 1. Dans l’expression ‘a → p’ par exemple, le signe ‘→’ ne dénote pas une implication logique, mais une relation causale. Une implication logique, qu’on écrit avec ‘=>’, a une structure d’inclusion qu’on peut représenter par le diagramme ci-dessous :

Inclusion

(x est un B) => (x est un A) car B est inclus dans A (ou encore, tous les B sont des A). Contraposée : (y n’est pas un A) => (y n’est pas un B). Il y a une analogie entre relation causale et implication logique, mais la première réfère à des réalités métaphysiques et chronologiques tandis que la seconde est formelle et atemporelle.3

Remarque 2. Une explication causale consiste à invoquer une nécessité et on peut la tester dès qu’on sait identifier que la condition suffisante est remplie ou que la condition nécessaire n’est pas remplie4

Remarque 3. Sayer (1992) critique le falsificationisme poppérien en affirmant que Popper rejetait l’idée de nécessité naturelle (p. 226). A mon avis, Sayer se trompe en prêtant un tel dogmatisme métaphysique — tout ce qui arrive est contingent — à Popper. Effectivement, si on admettait qu’il n’existe pas de nécessité naturelle, on verrait mal la possibilité d’expliquer un phénomène sur une base falsificationniste.5 La question est factuelle : existe-t-il un passage dans les textes de Popper où celui-ci exprime son refus de croire en l’existence de nécessités naturelles ? Je n’en connais aucun. Je crois plutôt qu’il dit que la prévision fondée sur des lois naturelles ne s’applique pas à des cas particuliers, « concrets », mais à des cas typiques, « abstraits ».

Référence

Sayer, A. (1992). Method in social science: A realist approach (2d ed.). London: Routledge.

  1. voir 25a, 4 []
  2. Mais j’attends la contradiction par des personnes qui seraient plus informées que moi sur l’explication probabiliste dans certains domaines de la recherche scientifique. En attendant, l’introduction des probabilités dans la méthodologie scientifique de l’explication est pour moi une source de confusion (voir par exemple 37a) ou tout au moins de perplexité (voir 50). []
  3. ce à quoi elle réfère n’a pas pour obligation de coïncider avec ces réalités ontologiques mais seulement de coïncider avec la non-contradiction (la cohérence) ; par exemple, « si un nombre est carré, alors il est positif » n’est pas une relation de cause à effet ; ce serait plutôt, à rebours, un héritage des propriétés de la multiplication de deux nombres quelconques. []
  4. voir Popper, 1992 ; Notturno, 2000. Mais chercher une explication seulement logique du phénomène me semble insuffisant (on peut seulement, et on doit, exiger qu’une explication soit logique, condition nécessaire à une explication scientifique (cf. 39a). Par exemple, le mesurage est une explication causale du phénomène observé (l’aiguille d’une balance penche à droite parce qu’elle mesure la masse et que la masse a augmenté) et sa forme mathématique est une fonction — p = F(q), où F est la fonction et q est une quantité théorique ou encore inventée ou métaphysique. []
  5. c’est-à-dire que même si on ne saura jamais si une explication est vraie, on peut chercher à la tester ; la logique formelle est utile si on peut l’articuler à la logique causale et cela demande beaucoup de soin. []

13a. Les hypothèses de mesurage du modèle de Guttman

Cet article montre que le modèle hiérarchique de Guttman, qui stipule que les descriptions auxquelles on s’intéresse sont simplement ordonnées (1), est un modèle de mesure ordinale (2) et discute l’attitude à adopter face à des observations falsifiantes (3). Ce modèle s’applique à la situation suivante : plusieurs personnes passent le même test constitué de plusieurs items et on espère pouvoir utiliser les descriptions résultantes comme des mesures permettant de comparer les élèves les uns par rapport aux autres.

1. Les descriptions sont simplement ordonnées

Dickes, Tournois, Flieller et Kop (1994, p. 140) présentent l’exemple de cinq élèves qui passent un test de quatre items, les réponses à chaque item étant cotées 0 (pour échec) ou 1 (pour réussite). L’application descriptive X: Ω → D est définie de Ω, l’ensemble de toutes les unités d’observation possibles, dans D = {0, 1}4 = {0000, 0001, …, 1111}. D contient 24 = 16 4-uplets. De manière plus détaillée, X = X1X2X3X4, avec Xi: Ω → {0, 1}, i indexant les items du test.

L’image de Ω5 = {ω1, ω3, ω3, ω4, ω5} par X, X5), est {0000, 0100, 0110, 1110, 1111}. Cet ensemble est simplement ordonné par la relation d’ordre produit direct :

0000 ≤ 0100 ≤ 0110 ≤ 1110 ≤ 1111.

2. Fonction de mesurage

Interpréter les descriptions comme mesures ordinales d’une grandeur revient à supposer qu’il existe une fonction de mesurage F: Ω5X5), c’est-à-dire qu’il existe quatre fonctions par palier croissantes Fi: Ω5 → {0, 1}, i = 1, 2, 3, 4, dont on connaît l’ordre des seuils Ai dans [0, max].

Pour déterminer cet ordre, il suffit de définir la bijection (relation univoque) de X5) dans l’ensemble ordonné (0, 1, 2, 3, 4) telle que

0000 → 0
0100 → 1
0110 → 2
1110 → 3
1111 → 4.

Si la quantité à mesurer est inférieure à tous les seuils, sa mesure ordinale vaut 0. Quel est le seuil à franchir pour que la mesure vaille 1 ? La description 0100 indique que ce seuil est A2. En effet, la fonction F2 détermine ce qu’on observe avec le second item du test et doit prendre la valeur 1 pour qu’on puisse déduire que son seuil a été franchi. Le prochain seuil à franchir pour que la mesure vaille 2 est A3 (0110). Le prochain seuil à franchir pour que la mesure vaille 3 est A1 (1110) et le dernier seuil est donc A4. Ainsi, on peut supposer qu’il existe quatre fonctions par palier croissante à seuils Ai dans [0, max] telles que A2 ≤ A3 ≤ A1 ≤ A4.

Remarque sur la notion de difficulté d’un item. On dit que le deuxième item du test est plus facile que le troisième qui est plus facile que le premier qui à son tour est plus facile que le dernier. Ainsi, le niveau de difficulté d’un item est le rang du seuil de sa fonction de mesurage. On pourra confronter cette définition à d’autres définitions galtoniennes, qui, parce qu’elles n’ont pas de caractère général, ne sont pas équivalentes, ce qui peut créer un problème d’ambiguïté voire une confusion conceptuelle dans les discussions psychotechniques (voir 19a).

3. Que faire face à des observations falsifiantes ?

Le raisonnement qui précède s’appuie sur la propriété d’ordre simple de X5). Une conséquence de cette propriété est que la taille (on dit aussi le cardinal) de X5), qui est 5, est strictement inférieure à celle de D, qui est 16 — à cause de l’impossibilité que deux éléments distincts d’un ensemble simplement ordonné soient incomparables. Soit une nouvelle unité d’observation ω6. On peut supposer que sa description résulte du mesurage de sa quantité de compétence par F et cette supposition est testable. Si X(ω6) n’appartient par à X5) qui inventorie toutes les descriptions ordonnées possibles, alors ce n’est pas une mesure de la quantité Q(ω6) par F.

L’hypothèse qu’une description psychotechnique soit une mesure paraît théoriquement invraisemblable dès qu’on admet que la réponse à des items de questionnaire dépende d’une myriade de facteurs inconnus (voir Mesurer avec des réponses à des tests : définition). Par quel miracle une personne quelconque, testée avec les quatre items du test, devrait répondre conformément à la fonction F dont on suppose l’existence sur Ω5 ?

L’attitude logique face à une observation falsifiante, i.e., qui n’appartient pas à X5), consiste à conclure qu’on ne sait pas interpréter cette observation comme une mesure ordinale d’une quantité théorique de compétence. Ce n’est pas l’attitude qui prévaut dans la doctrine de la validation scientifique des tests. L’orthodoxie consiste à adopter une stratégie dérogatoire (comme c’est aussi le cas avec les problèmes de désaccords inter-juges).

Dickes et al. (1994) expriment cette attitude de la manière suivante :

« Mais il aurait suffit de considérer un sixième élève qui aurait répondu, par exemple, [0010], pour que les données ne soient plus représentables par ce modèle, à moins de ne pas opter pour des règles aussi strictes. Jusqu’à un certain degré de dérogation, on peut encore considérer que les données s’accordent avec le modèle. Mais cela suppose qu’on se donne quelque règle supplémentaire, par exemple, qu’il n’y ait pas plus de 5 % de dérogations, pour accepter la représentation obtenue » (p. 141) — Laveault et Grégoire (2002, p. 184) mentionnent qu’en 1950, Guttman a proposé le seuil d’acceptabilité de 10 %.

Cette attitude n’est pas scientifique au sens normatif du terme, bien qu’elle soit adoptée par des personnes qui puissent se qualifier de « scientifiques » au sens de « praticiens d’une démarche scientifique ». L’attitude scientifique consiste à témoigner de l’existence d’observations falsifiantes. Proposer de considérer que ces observations soient négligeables est autre chose, cela relève d’une pratique sociale au sens de la psychologie sociale des organisations ou des institutions. Il se peut que pour des raisons non scientifiques, on ait besoin de faire comme si on savait mesurer la compétence des élèves avec ce test. Si on veut faire croire qu’on sait mesurer la compétence de ce sixième élève, on utilisera son score, 0 + 0 + 1 + 0 = 1, pour « considérer » qu’il mesure sa compétence (de manière ordinale).

Mais ce n’est pas fini. On oubliera que le score n’est qu’une mesure ordinale. Que le score soit une mesure ordinale implique qu’on ne sait pas, même si le modèle n’est pas falsifié, si deux élèves qui ont le même score ont des compétences différentes ou égales. On considèrera que leur compétences sont approximativement égales. On peut comprendre la raison d’une telle distorsion des connaissances scientifiques disponibles si on admet que l’impératif social de comparaison des élèves, c’est-à-dire d’évaluation, prime sur l’impératif d’intégrité scientifique, c’est-à-dire que les scientifiques de la réponse à des items de tests sont professionnellement conduits à affirmer l’ignorance de la signification objective, au sens réaliste du terme, des réponses aux items du test (cf. 1a et 22a), parce qu’on ne dispose pas d’une théorie testable de ces réponses qui ne soit pas falsifiée.

Les scores sont des jugements de valeur fondés sur des descriptions psychotechniques objectives (au sens qu’elles ne posent pas de problème d’accord inter-juges), et on essaie de légitimer ces jugements de valeur en expliquant qu’ils sont compatibles avec des hypothèses scientifiques fausses, mais qu’on « considère » comme acceptables par dérogation.

Références

Dickes, P., Tournois, J., Flieller, A., & Kop, J.-L. (1994). La psychométrie. Paris: Presses Universitaires de France.

Laveault, D. & Grégoire, D. (2002). Introduction aux théories des tests en psychologie et en sciences de l’éducation (2e éd.). Paris : De Boeck Université.

12a. Deux juges décrivent l’état de 19 personnes mais ne mesurent rien

Cet article illustre la différence entre scorer et mesurer, développée de manière générale dans Scorage vs. mesurage, à partir de l’exemple de données proposé par Bruno Falissard (2008) pour présenter le kappa de Cohen. On suppose que deux juges évaluent séparément, en termes de réussite ou d’échec, la manière dont 19 personnes réagissent à un test, dans le but de mesurer la compétence de ces personnes sur l’échelle de scores (0, 1, 2) — 0 si les deux juges « mettent » 0, 1 si un seul juge « met »1, 2 si les deux juges « mettent » 1. La table de contingence est reproduite ci-dessous.

kappa

L’argument consiste en deux points. (1) Les scores, qui sont obtenus en sommant les valeurs numériques qui codent les évaluations des juges (0 pour échec, 1 pour réussite), puisent leur signification non pas dans une opération additive mais dans la convention évaluative suivante : deux jugements de réussite valent mieux qu’un seul qui vaut mieux que zéro — on additionne des unités de valeur, c’est-à-dire des institutions sociales. (2) Comme tous les 2-uplets possibles sont observés, les observations effectuées ne sont pas simplement ordonnées. Par conséquent, les données ne peuvent pas être utilisées comme mesures ordinales de la compétence des personnes — la compétence étant considérée comme grandeur théorique qui déterminerait les jugements. En conclusion, les scores ne sont pas des mesures mais des jugements de valeur.

1. L’application de scorage AX

L’ensemble de départ de X (la description) est l’ensemble des 19 unités d’observation. Son ensemble d’arrivée est l’ensemble des quatre 2-uplets possibles, à savoir D = {00, 01, 10, 11}. Un 2-uplet indique le jugement du premier juge puis le jugement du second juge. En inspectant la table de contingence, on voit que 00 a neuf antécédents (ou bien, neuf unités d’observation ont pour image 00), 01 a un antécédent, 10 a deux antécédents, et 11 a sept antécédents.

L’application d’agrégation A attribue à tout 2-uplet la somme des nombres dont ils sont composés. Ainsi, le score de 1 point agrège 01 et 10. Remarquons que cette somme n’a pas de signification empirique, puisque « échec + réussite = réussite » n’a pas plus de sens que « réussite + échec = réussite ». On confond ici deux opérations logiquement distinctes, à savoir l’addition (+) et la conjonction (et) : « et » n’est pas « + » et réciproquement. La hiérarchisation des valeurs qui est ainsi opérée est conventionnelle. Ainsi, la composition de la description et du scorage, AX, attribue un niveau de valeur à toute unité d’observation dans une échelle à trois niveaux.

2. Pourquoi les descriptions ne sont pas des mesures

Un raisonnement par l’absurde permet de montrer que ces descriptions ne sont pas des mesures ordinales de quantités de compétence que possèderaient les 19 unités d’observation. Le principe du raisonnement par l’absurde consiste à tirer les conséquences de l’hypothèse qu’on veut falsifier, en montrant que ces conséquences sont fausses. Si A implique B et si non-B est vrai, alors non-A est vrai (et A faux).

Supposons, comme on l’a fait précédemment, que les deux juges mesurent la quantité de compétence Q(ω) de toute unité d’observation ω en observant comment elle réagit au test. Alors les jugements d’échec ou de réussite dépendent d’une fonction de mesurage qui les caractérise l’un et l’autre. Appelons ces fonctions F1 et F2 ; ce sont des fonctions par palier croissantes (voir Mesurer avec les réponses à un item, en remplaçant « item » par « juge »).

Considérons deux unités d’observation ω1 et ω2 telles que X(ω1) = 01 et X(ω2) = 10 (les deux 2-uplets sont incomparables). Il existe trois possibilités quantitatives :

  • Q(ω1) = Q(ω2), auquel cas F1[Q(ω1)] = F1[Q(ω2)] et F2[Q(ω1)] = F2[Q(ω2)], ce qui se note aussi F[Q(ω1)] = F[Q(ω2)] avec F = F1F2. Dans ce cas, X n’est pas FQ puisque X(ω1) ≠ X(ω2).
  • Q(ω1) > Q(ω2), auquel cas F1[Q(ω1)] ≥ F1[Q(ω2)] et F2[Q(ω1)] ≥ F2[Q(ω2)]. Dans ce cas, X n’est pas FQ puisque F1Q n’est pas X1 car X1(ω1) < X1(ω2).
  • Q(ω1) < Q(ω2), auquel cas F1[Q(ω1)] ≤ F1[Q(ω2)] et F2[Q(ω1)] ≤ F2[Q(ω2)]. Dans ce cas, X n’est pas FQ puisque F2Q n’est pas X2 car X2(ω1) > X2(ω2).

En conclusion, les observations contredisent l’hypothèse d’un processus de mesurage (ou de l’existence d’une fonction de mesurage). En d’autres termes, les descriptions incomparables 01 et 10 ne peuvent pas être expliquées par un mesurage.

3. Remarque sur les désaccords inter-juges

Dans la perspective du mesurage, les désaccords inter-juges sont possibles mais restreints : leurs descriptions ne doivent pas permettre l’observation d’états incomparables.

Référence

Falissard, B. (2008). Mesurer la subjectivité en santé : perspective méthodologique et statistique. Paris: Masson.

11a. Scorage vs. mesurage psychotechnique

Cet article demande patience et ténacité parce que certaines notions techniques, simples mais abstraites, sont mobilisées pour une conceptualisation minutieuse. Le cas échéant, le lecteur ne doit pas hésiter à consulter Internet sur certaines notions spécifiques (application, composition d’applications, produit cartésien, fonction croissante…). La notion fondamentale de m-uplet est détaillée dans 20a.

La différence conceptuelle entre le scorage psychotechnique et ce qui serait un authentique mesurage psychotechnique peut être mise en évidence en décrivant l’un et l’autre comme la composition de deux applications, A ○ X vs. F ○ Q. Pour montrer que scorage et mesurage ne sont pas synonymes, il suffit de montrer que les deux applications composées ne sont pas les mêmes applications.

  • Déterminer le score psychotechnique d’une personne à un moment donné consiste à déterminer (via X) puis à scorer (via A) une description psychotechnique de cette personne à ce moment.
  • Mesurer nécessite de supposer que la description psychotechnique résulte d’un processus de mesurage (formalisé par F) d’une certaine quantité déterminée (via Q). Si cette supposition est fausse, la description ne résulte pas d’un mesurage. Le scorage de cette description se présente alors comme une forme de pseudo-mesurage où le codage numérique se substitue au mesurage.

1. Description psychotechnique X

La description psychotechnique est une application X : Ω → D. Son ensemble de départ, Ω, est une population statistique. Une unité d’observation de Ω consiste le plus couramment en une personne e à un certain moment t, la notion de « moment » correspondant à l’intervalle de temps nécessaire à la passation du test ; une unité d’observation quelconque est notée ω = (e, t).

L’ensemble d’arrivée de X est noté D (pour description). Les éléments de D sont des m-uplets, où m indique le nombre d’items du test1. Le caractère gras de la notation D indique que la description est multivariée — elle a la forme d’un m-uplet où m > 1 — (par opposition à univariée — un score est un 1-uplet). Il est facultatif mais je l’utilise ici pour aider à distinguer entre multi- et univarié. La description psychotechnique d’une unité d’observation ω est la donnée de m réponses au test ; cette donnée se note X(ω) = x (pour les notations, cf. 42a).

L’application X est l’application conjointe

X1X2…Xm : Ω → D1×D2×…×Dm = D

(D est un produit cartésien), où tout Xi, i = 1, 2, …, m, associe à toute unité d’observation une et une seule valeur dans l’échelle des valeurs descriptives de l’item i.

2. Règle de scorage psychotechnique A

Une règle de scorage psychotechnique est une application notée A : D → S (A pour agrégation). Son ensemble de départ est l’ensemble d’arrivée de X, c’est-à-dire l’ensemble des m-uplets qui peuvent être envisagés étant donné le test. L’ensemble d’arrivée de A est noté S pour scores. Le score d’un m-uplet quelconque de D est déterminé par des « règles de transformation », ou encore d’agrégation numérique (d’où la notation A). Par exemple, le score de (0, 1, 1) est 2 points si on utilise la règle usuelle de l’addition des nombres qui se trouvent dans le m-uplet (on parle aussi de score composite, cf. 17a).

3. Scorage psychotechnique A ○ X

Tester une personne à un certain moment avec un certain test consiste à déterminer ses réponses aux m items du test — X(ω) — puis à attribuer un score à cette description — A[X(ω)]. Cette composition d’applications se note A ○ X. Le score de l’unité d’observation ω est

(A ○ X)(ω) = A[X(ω)] aussi noté X(ω).

4. Hypothèse quantitative Q

Le mesurage repose sur l’hypothèse fondamentale qu’une quantité existe (on mesure une quantité ou on ne mesure pas). Cette hypothèse peut se formuler comme l’hypothèse de l’existence d »une application Q : Ω → [0, max], qui à toute unité d’observation de Ω, associe une et une seule quantité q définie dans le segment [0, max], où « max » désigne la quantité maximale possible.

Remarque. La notion statistique d’unité d’observation appelle une remarque particulière dans ce contexte. Supposer que la personne possède une quantité psychologique instantanée est une chose, supposer que cette quantité ne varie pas dans l’intervalle de temps nécessaire à la passation du test en est une autre. La convention d’invariance de la quantité à mesurer pendant la passation du test est nécessaire pour tester la mesurabilité de la quantité visée par le test (voir la convention C).

5. Fonction de mesurage F

La fonction de mesurage F : [0, max] → D est définie sur le segment [0, max] et prend ses valeurs dans l’ensemble D. Soit un test de m items. Pour tout item i du test, on suppose qu’il existe une fonction croissante Fi : [0, max] → Di, où Di est l’échelle des valeurs descriptives de l’item i (voir l’article Mesurer avec les réponses à un item). La fonction F est la fonction conjointe

F1F2…Fm : [0, max] → D1×D2×…×Dm = D.

La mesure de la quantité q par F est un m-uplet de valeurs, qu’on note y. F(q) = y.

Une propriété critique des valeurs de la fonction F est qu’elles sont simplement ordonnées parce que toute fonction Fi est croissante. Ce point est détaillé dans la section 6. Cette propriété d’ordre simple, ou encore de comparabilité, rend falsifiable la proposition selon laquelle deux descriptions particulières X(ω1) et X(ω2) résultent du mesurage des quantités Q(ω1) et Q(ω2). Il suffit que X(ω1) et X(ω2) soient incomparables, et on note X(ω1) <> X(ω2), pour que ces descriptions ne soient pas des mesures ordinales.

6. Mesurage psychotechnique F ○ Q

Si un test psychologique permet de mesurer la quantité psychologique d’une unité d’observation ω, c’est que cette quantité, Q(ω), détermine la description psychotechnique F[Q(ω)]. Le mesurage psychotechnique est donc la composition F ○ Q.

Soient les unités d’observation ω1 et ω2. Leurs mesures sont respectivement (F ○ Q)(ω1) = F[Q(ω1)] = Y(ω1) et (F ○ Q)(ω2) = F[Q(ω2)] = Y(ω2), où la lettre Y désigne l’application F ○ Q.

Ordre produit direct (définition). On dit que F[Q(ω1)] ≥ F[Q(ω2)] si et seulement si quel que soit i, Fi[Q(ω1)] ≥ Fi[Q(ω2)]. Cette définition s’applique aussi à X.

Théorème. F est croissante.

Démonstration

Soient ω1 et ω2 tels que Q(ω1) ≠ Q(ω2) :

  • Si Q(ω1) > Q(ω2), alors quel que soit i = 1, 2, …, m, Fi[Q(ω1)] ≥ Fi[Q(ω2)] donc F[Q(ω1)] ≥ F[Q(ω2)].
  • Si Q(ω1) < Q(ω2) on se ramène au cas précédent en intervertissant les indices de ω.

Comparabilité (ordre simple). La croissance de F implique que deux mesures y1 et y2 sont comparables.

7. Scorage vs. mesurage

Scorage et mesurage sont des opérations distinctes, puisque X = A ○ X n’est pas la même opération que Y = F ○ Q. Autrement dit, disposer d’un score composite X(ω) n’implique pas qu’il existe une fonction croissante F telle que X = FQ.

Soit un ensemble Ωn de n unités d’observation. S’il existe une fonction F telle que l’image de Ωn par X soit égale à l’image de Ωn par F ○ Q, c’est-à-dire Xn) = (F ○ Q)(Ωn), alors les descriptions psychotechniques Xn) sont des mesures ordinales des quantités Q(Ωn). Par conséquent, ces descriptions sont simplement ordonnées, c’est-à-dire que les descriptions de deux unités d’observation distinctes sont égales ou strictement ordonnées. Le score exprime alors cette propriété ordinale de comparabilité.

Si une telle fonction F n’existe pas, on ne sait pas mesurer les quantités Q(Ωn). Il est possible que cette ignorance découle de l’inexistence des quantités (l’hypothèse Q est fausse), ou de notre incapacité à déterminer les conditions expérimentales qui permettent de supposer l’existence de F sans être contredit par les observations.

S’il existe deux unités d’observations ω1 et ω2 dont les descriptions sont incomparables, c’est-à-dire qu’il existe i et j tels que Xi(ω1) > Xi(ω2) et Xj(ω1) < Xj(ω2), alors F n’existe pas et donc on ne peut pas affirmer que les descriptions résultent d’un mesurage par F des quantités supposées.

8. Exercice non corrigé

  1. Un 3-uplet est par exemple (0, 1, 1), où 0 et 1 indiquent respectivement une réponse incorrecte et une réponse correcte. []

10a. Comment Dickes et al. présentent la mesure en psychologie

Dans leur ouvrage « La psychométrie : théories et méthodes de la mesure en psychologie  » (1994), Paul Dickes, Jocelyne Tournois, André Flieller et Jean-Luc Kop tentent une présentation orthodoxe des « théories et méthodes de la mesure en psychologie ». Par « orthodoxe », j’entends « qui ne conteste pas l’idée qu’on sache mesurer en psychologie ».

Si on croit qu’on ne sait mesurer aucune grandeur psychologique avec des réponses à des items de test (au sens de la définition donnée dans 3a), lire cet ouvrage revient à assister à une tentative de sauvetage du préjugé qu’on sait mesurer en psychologie. On a parfois l’impression que les auteurs eux-mêmes sont pris de doute (par exemple, ils citent, p. 23, Maurice Reuchlin remarquant en 1962 que « si l’on admet à la fois la formulation axiomatique utilisée par Campbell et le caractère nécessairement univoque de l’attribution des nombres aux choses mesurées, on peut montrer que les grandeurs psychologiques n’ont jamais encore été mesurées » et, p. 30, Clyde Coombs qui « soutient même que le comportement est fondamentalement un ordre partiel »), mais ils ne franchissent pas le Rubicon.

Pour rester orthodoxes, les auteurs confondent mesurage et scorage (ou agrégation numérique) : mesurer, c’est noter1. Pour pouvoir soutenir qu’on sait mesurer en psychologie, il faut faire admettre que mesurer, c’est appliquer une méthode de transformation de données en nombres. Mais les auteurs n’envisagent pas que certaines connaissances — des faits falsifiants — puissent empêcher cette transformation, de telle sorte qu’on soit contraint de conclure que dans telle ou telle situation, on ne sait pas mesurer — ce qui ne veut pas dire qu’on ne sache pas noter malgré tout.

Ici gît ce qui me paraît une entorse majeure à l’esprit scientifique. Faire de la science, c’est accepter le verdict des faits empiriques contre notre désir de réduire le réel à nos propres catégories cognitives — contre nos théories, notre vision du monde. L’orthodoxie psychométrique procède moins du désir de connaître, indissociable de notre tolérance à l’ignorance (connaître quelque chose, c’est reconnaître qu’on ignore autre chose), que du désir d’évaluer. Le désir d’évaluer fonctionne comme un impératif catégorique dans le champ social : il faut pouvoir évaluer. Parfois, l’évaluation est une exigence d’efficacité vitale — cette proie, ce prédateur, sont-ils plus forts que moi ? Si le contexte social conduit à la nécessité sociale d’évaluer des personnes, alors le problème n’est pas de déterminer ce en quoi consiste cette nécessité, mais de savoir comment le faire (voir l’exemple de l’échelle métrique de l’intelligence de Binet et Simon). Autrement dit, pas question de ne pas évaluer. Or, évaluer, c’est parler le langage du « plus ou moins ».

D’un autre côté, transformer des données en nombres sans clause d’impossibilité logico-empirique, c’est exactement de la numérologie :

 pour que les faits empiriques te disent ce que tu veux savoir, tu les exprimeras en nombres.

D’où un problème de légitimation. Si la légitimation consiste en la satisfaction du critère de scientificité de la psychotechnique, on débouche sur le problème poppérien de la démarcation entre science et non-science (voir Popper, 1973). Cette numérologie revêt une allure de scientificité grâce à la modélisation statistique et à une forme de contrôle de la modélisation par les faits empiriques — pour préserver l’empirisme nécessaire à toute science qui se dit empirique. Mais ce contrôle, lorsqu’il procède effectivement du test d’une hypothèse, porte sur des phénomènes qui se manifestent à une échelle qui n’a rien à voir avec l’échelle de la personne individuelle. L’agrégation s’applique cette fois, non pas à des  symboles (la numérologie), mais à des personnes. Les échantillons résultants sont alors supposés provenir de populations statistiques (qui ne sont pas équivalentes à des populations démographiques — voir aussi 15a). Par exemple, la théorie factorielle de l’intelligence a pour objet des matrices de corrélations qui ne décrivent personne en particulier ni quiconque en général.

Si on sait mesurer, on sait mettre en nombres de manière scientifique. Si on parle le langage des nombres, on sait parler le langage du « plus ou moins ». Ce langage a une utilité évaluative. Mais ce raisonnement n’est pas réversible : mettre en nombres, ce n’est pas nécessairement mesurer si par mesurer, on entend profiter de ce que les phénomènes qu’on sait décrire soient quantitatifs (i.e., obéissent aux axiomes de la quantité). Il se peut que les phénomènes psychotechniques, c’est-à-dire les phénomènes qu’on sait décrire avec des tests, ne soient pas quantitatifs. Dès lors, franchir le Rubicon, i.e., affirmer qu’on ne sait pas mesurer avec des réponses à des items de tests, c’est dire à certains acteurs du champ social, concernés par l’évaluation des personnes, que la psychotechnique est une psychonumérologie, ou encore qu’on ne sait pas soutenir sur des bases scientifiques que la mise en nombres psychotechnique (ou psychométrique) soit fondée sur des lois naturelles quantitatives. D’où un vide non pas technique, mais scientifique. Franchir le Rubicon, c’est ôter aux descriptions que l’évaluateur impose aux êtres pour les classer dans ses espaces d’évaluation leur caractère naturel (voir la critique de l’échelle métrique de l’intelligence de Binet et Simon).

En ne franchissant pas le Rubicon, on évite de heurter la (toute-)puissance de l’évaluateur. On  institue la validation des tests comme un problème d’experts, l’essentiel étant qu’on dispose (1) de techniques de description numérique, qui constituent dès lors un arsenal scientifiquement légitime pour l’évaluation, et (2) d’une cohorte d’agents psychotechniques pour sa mise en œuvre. Bien entendu, ce tableau présente une tournure idéologique : qui est « on » ? Disons, pour le moment, que cette figure de rhétorique est provisoire et qu’elle permet de ne pas tout développer à la fois (mais voir 19a). Les processus d’institutionnalisation ou de formation de paradigmes relèvent d’une analyse qui permette de montrer comment les comportements individuels se coordonnent sans l’intervention d’un « on » personnalisé2.

Le problème pour le psychologue lambda à qui il revient de mettre en nombres les personnes via ce qu’il connaît d’elles à travers leurs réponses aux tests, c’est qu’il ne jouit pas de l’expertise psychométrique. Il participe de la reconnaissance collective de l’expertise des psychométriciens par défaut (il n’en cerne pas les limites). Autrement dit, il doit se débrouiller pour faire croire dans son champ social particulier que ses nombres valent quelque chose parce que, d’une certaine manière, il en vit, quand bien même il ne sait pas les justifier lui-même du point de vue scientifique. Et il n’a pas intérêt à souligner qu’il ne sait pas le faire parce qu’alors il soulignerait son manque d’expertise, lequel, dans un contexte de concurrence exacerbée sur le marché du travail, le désignerait comme adversaire fragile (facile à éliminer). C’est ici que les remarques générales de Jean-Paul Allouche dans sa tribune prennent une pertinence particulière pour les psychologues.

Références

Allouche, J.-P. (2014). Connaître n’est pas mesurer. Le Monde, 29 janvier.

Dickes, P., Tournois, J., Flieller, A., & Kop, J.-L. (1994). La psychométrie. Paris: Presses Universitaires de France.

Popper, K. R. (1973). La logique de la découverte scientifique. Paris: Payot.

  1. Pour une distinction formelle, voir 11a. []
  2. Par exemple, comment acceptons-nous le prix des choses alors que personne en particulier ne nous l’impose ? Comment les journalistes acceptent-ils de ne pas poser certaines questions, comme par exemple, qui fabrique l’argent et décide de sa mise en circulation, alors que personne en particulier ne le leur interdit ? []

9a. Les réponses à des items de test sont des mesures : convention, falsifiabilité, validité

Lorsqu’on affirme que les réponses à un certain item de test mesurent une grandeur, on affirme une convention. On propose aux membres d’un collectif d’accepter une façon de parler. Refuser ou accepter cet usage linguistique n’est pas une question empirique, on ne peut pas fonder son refus sur la base de faits d’observation qui viendraient contredire cela (voir aussi Popper).

Lorsqu’on affirme que les réponses à deux (ou plus) items mesurent la même grandeur, on affirme aussi une convention. D’un point de vue expérimental, les réponses aux items correspondent à des moments successifs et on ne dit pas que la quantité de la grandeur qui détermine la réponse au premier item est la même que la quantité de la grandeur qui détermine la réponse au deuxième item (etc.).

Cependant, un test psychotechnique est une collection d’items, c’est-à-dire qu’on adopte une convention supplémentaire. On affirme que la quantité qui détermine la réponse à tout item du test ne varie pas dans l’intervalle de temps nécessaire pour obtenir les réponses — sinon, on ne dirait pas que le test mesure une quantité de la grandeur. On affirme une convention qui rend falsifiable l’affirmation que les items du test mesurent la même quantité de la même grandeur. Des notations sont utiles pour mettre en évidence la structure logique (hypothético-déductive) de l’argument.

Soit une population donnée d’unités d’observation telle que quelle que soit une unité d’observation,
A : la réponse à l’item I1 mesure une quantité q1 de la grandeur Q,
B : la réponse à l’item I2 mesure une quantité q2 de la grandeur Q,
C : dans un intervalle de temps inférieur (ou égal) à dt (le temps nécessaire à la passation des items en question), la quantité de la grandeur Q ne varie pas (i.e., q1 = q2 = q).

D : si A et B et C, alors les réponses aux deux items lorsque ceux-ci sont utilisés dans dt, forment un 2-uplet et les 2-uplets qu’on peut observer dans la population statistique à laquelle on s’intéresse obéissent à une loi d’ordre simple : deux 2-uplets distincts issus de cette population sont comparables : l’un est inférieur à l’autre (voir aussi 11a, 31a).

Voici un argument valide, c’est-à-dire que la conclusion (D) découle logiquement de la prémisse (A et B et C).

En développant ce qu’est une loi d’ordre simple, on va s’apercevoir que la prémisse est testable, parce qu’il existe au moins un fait d’observation possible qui contredit la prémisse (11a). Ce fait d’observation possible est un falsificateur (Popper, 1973). Comme l’hypothèse « A et B et C » est falsifiable, c’est une hypothèse scientifique.

Comment utiliser la testabilité de l’hypothèse ? Tout argument de type « si prémisse alors conclusion  » est équivalent à « si non-conclusion alors non-prémisse » (voir aussi Notturno, 2000, sur la validité). Supposons qu’on observe une réponse aux deux items qui falsifie la prémisse « A et B et C ». Alors « non-(A et B et C) », c’est-à-dire qu’au moins une des trois propositions A, B ou C est fausse. Puisque C est vraie par convention (i.e., on ne touche pas à sa valeur de vérité pour des raisons de falsifiabilité), soit la réponse à l’item I1 ne mesure pas la quantité q de la grandeur Q, soit la réponse à l’item I2 ne mesure pas la quantité q de la grandeur Q, soit la réponse aux deux items ne mesure pas la quantité q de la grandeur Q.

Tout cela peut demander un certain travail, inutile si on refuse ce qu’il faut admettre pour soutenir l’hypothèse : il faut admettre que les réponses ne dépendent que de la quantité à mesurer (voir la définition du mesurage), ce qui, dans la communauté des psychologues, est considéré comme quelque chose d’intenable — les psychologues sont les premiers à reconnaître que la réponse à un item de test résulte d’un processus hyper-complexe qu’on ne comprend pas.

D’où un point de bifurcation. (1) 0n peut, pour l’exercice, montrer que l’hypothèse « les réponses aux deux (ou plus) items mesurent une quantité de la grandeur » est vouée à la falsification, en comptant sur la bonne foi des observateurs qui seront témoins d’observations falsifiantes (voir les articles 12a et 13a). C’est très intéressant parce qu’en psychologie, à mon humble avis, on n’a pas l’habitude de raisonner de cette manière alors que c’est possible et instructif.

(2) On peut s’intéresser à ce qui permet aux psychologues de croire d’un côté qu’on sait mesurer avec des réponses à des tests et d’un autre côté que les réponses à des tests dépendent d’une myriade de facteurs inconnus. On doit alors aborder la théorie classique des tests puis la théorie de la réponse à l’item, c’est-à-dire plonger dans une certaine utilisation du langage des probabilités. C’est très intéressant parce qu’on voit comment la notion de probabilité peut être utilisée de manière à faire croire qu’on sait des choses alors même qu’on est en train de raconter qu’on ne sait pas expliquer ce qui se produit, et comment on confond l’interlocuteur (et soi-même) en passant sans prévenir d’une classe de référence à une autre (pour une analyse approfondie, voir 25a).

Si on veut tout de suite sortir du musée psychométrique, il suffit de retenir que les approches psychométriques mentionnées ne permettent pas de déduire quoi que ce soit des réponses qu’on peut observer — à l’échelle d’une personne. En d’autres termes, les modèles psychométriques sont infalsifiables — à l’échelle d’une personne. En tant que domaine d’application pour la modélisation statistique, la psychométrie introduit une norme épistémologique nouvelle dans le champ des sciences empiriques : si on ne peut déduire quoi que ce soit d’une théorie psychométrique, il est acceptable de deviner (plutôt que ne rien dire du tout), en utilisant une théorie statistique de la meilleure estimation (par exemple, la maximisation de la vraisemblance). Mais même si elle est statistique, une méthode de divination reste une méthode de divination.