Archives de l’auteur : Stéphane Vautier

23a. Enjeux d’un mémoire de recherche en psychologie

Il y a au moins deux façons de définir le but ultime d’un travail de recherche en psychologie : (1) gagner du prestige en montrant qu’on est capable de publier dans des revues dont le prestige est évalué par son indice d’impact ; (2) essayer de répondre à une question, de telle manière que la réponse (qui inclut le travail qu’elle a demandé) constitue une contribution à la connaissance scientifique actuelle. Malheureusement, les deux types d’objectifs ne sont pas toujours compatibles (voir par exemple Ioannidis, 2014).

1) Pour publier dans une revue prestigieuse,

… il faut soumettre un article qui plaise au comité éditorial de la revue puis aux experts qu’elle sollicite pour l’évaluation de l’article. La solution standard consiste à dire aux étudiants de faire des analyses statistiques (calcul de corrélations, régression multiple, analyse en composantes principales, modélisation avec des variables latentes, des effets mixtes, etc., le principe étant la surenchère dans le degré de sophistication des analyses comme manière de penser le progrès de la recherche). Dans cette perspective, les étudiants attendent qu’on leur explique comment faire ; la formation standard consiste à leur donner des procédures presse-bouton parce qu’il n’est pas possible pour un étudiant standard de comprendre ce que fait le logiciel. Je passe sur l’acquisition des données, tâche subalterne qui n’intéresse personne. Bilan : beaucoup de temps et d’énergie dépensés pour une contribution scientifique indéfinie, pour un exercice de style que de nombreux étudiants considèrent comme une corvée.

2) Pour répondre à une question, de telle manière que la réponse constitue une contribution à la connaissance scientifique,

… il faut se lever de bonne heure, parce qu’il faut beaucoup réfléchir. D’abord, la plupart des questions qu’on se pose ne sont pas des questions scientifiques. Pas facile d’apprendre à juger ce point. De plus, quand on juge, il est décourageant de voir “tomber” toutes les questions qui nous viennent à l’esprit, et carrément déconcertant de constater que la plupart des hypothèses de recherche qu’on trouve dans des articles publiés dans des revues prestigieuses ne sont pas des questions scientifiques (en particulier les hypothèses qui reposent sur l’idée vague d’influence, voir par exemple 37a).

Je poursuis ici la réflexion initiée dans Qu’est-ce qu’une contribution scientifique en psychologie ? Les étudiants sont habitués à entendre parler de VI (variable indépendante) et de VD (variable dépendante). Quelque chose (VD) dépend d’autre chose (VI)…

3) Premier type de contribution possible : de quoi parle-t-on ?

On peut utilement consacrer un mémoire à préciser de quoi tels ou tels auteurs parlent dans quelques articles qu’on aura sélectionnés. En général, il y a un pataquès entre ce qu’ils observent (les réponses des participants de leurs études) et ce dont ils parlent (les construits) et ça demande pas mal de travail de démêler le pataquès. Il s’agit fondamentalement de problèmes de théorie et de méthodologie descriptive, en particulier quand on prétend mesurer des grandeurs psychologiques.1 On peut consacrer un mémoire de recherche seulement à proposer un référentiel de description ; il est inutile d’imposer à un étudiant de recueillir des données si le référentiel de description n’est pas au point théoriquement (ce qui ne signifie pas qu’un référentiel de description ne doive pas être essayé sur quelques unités d’observation). Par exemple, comment se décrivent les différents états possibles de l’estime de soi ?

4) Deuxième type de contribution : que se passe-t-il ?

Quand deux psychologues qui observent le même phénomène peuvent ne pas le décrire de la même manière, alors qu’ils utilisent le même langage descriptif, on a un authentique problème d’objectivité (voir Le Kappa de Cohen) : comment faire pour établir l’interchangeabilité des observateurs ? L’interchangeabilité des observateurs est-elle exigible ? Répondre à ces questions, c’est apporter une contribution scientifique à l’état actuel des connaissances.

Si on est au clair avec la réalité des phénomènes dont on parle, autrement dit si on est au clair avec les modalités de ses variables et la précision avec laquelle on connaît leurs valeurs particulières, empiriques, on peut chercher à savoir ce qui se passe dans la fenêtre d’observation qu’on s’est donnée (le référentiel de description). C’est un objectif modeste, mais toujours utile, de pouvoir décrire ce qui se passe dans telles ou telles conditions.

5) Troisième type de contribution : expliquer ce qui se passe

Si on se donne ce type de but, il faut d’abord savoir ce qu’expliquer signifie. Plusieurs points de vue sont possibles, mais il faut s’en donner un. Celui que j’adopte est développé dans Qu’est-ce qu’une explication scientifique ? et dans Explication, nécessité, condition suffisante vs. nécessaire. Il conduit à la question du déterminisme, développée dans Formes de lois scientifiques.

6) Quatrième type de contribution : trouver une anecdote statistique

Dans cette perspective, on se rapproche de la tradition statisticienne dominante et on tourne le dos à la quête d’explications. Il y a l’anecdote passive et l’anecdote interventionniste. La seconde est la plus utile du point de vue du pouvoir. Si vous montrez que dans la condition a, le phénomène p se produit plus souvent que dans la condition non-a, et si p est désirable, vous avez gagné, surtout si vous savez mettre les gens dans la condition a — vous tenez une anecdote interventionniste  ; si la condition n’est pas contrôlable, c’est moins intéressant  anecdote passive. Vous pouvez aussi raisonner en termes de prévention (voir Explication, nécessité, condition suffisante vs. nécessaire). Et vous aurez un problème industriel : comment montrer que l’anecdote est répétable ?

  1. Je parie qu’on arrive à montrer que les hypothèses de recherche ne sont pas testables ; en fait, les études focalisées par la mise en évidence d’effets statistiques ne sont pas explicatives mais exploratoires. Si la testabilité est une condition nécessaire pour la scientificité d’une hypothèse, il s’ensuit qu’elles ne sont pas scientifiques parce que pour tester une explication, on doit disposer d’une explication. Très déconcertant. []

6b. What is a Scientific Explanation?

I argue that a scientific explanation of an empirical phenomenon consists in claiming that this phenomenon obeys at least one kind of objective necessity, which satisfies the methodological criterion of falsifiability. Consequently, I reject the relevance of the notion of probabilistic explanation — which does not imply that I would argue that probalistic modeling is useless with respect to any aim (specifically non-exaplanatory aims).

This note presents two kinds of objective necessity. Let p be an empirical phenomenon.

  • a => p. If a exists such that if a occurred, then p occurred, a is a sufficient condition of p. An observation of form “a and non-p” is a falsifier of the sufficient condition a.
  • p => b. If b exists such that if p occurred, then b occurred, b is a necessary condition of p. An observation of form “p and non-b” is a falsifier of the necessary condition b.

If one knows a sufficient condition a of p, one is able to get p to occur if one is able to get a to occur (predictive explanation). To explain why p occurs consists in stating that a sufficient condition is met.

If one knows a necessary condition b of p, one is able to prevent p from occurring if one is able to prevent b from occurring (preventive explanation). To explain why p does not occur consists in stating that at least one of its necessary conditions is not met.

5b. The probability to pass the item

Psychometric item response models rest on the notion of the probability to pass the item. The present note investigates this notion from the epistemological perspective by contrast to the usual psychometric (i.e., statistical) perspective. Taking an epistemological perspective consists in asking (i) how to do to obtain some knowledge based on the probability notion, and (ii) whether this knowledge is falsifiable. The note concludes that an item response model offers no falsifiable knowledge about the quantitative differences the model invokes. If item responses were (ordinal) measurements, probabilistic item response models would be unnecessary. And if one is aware of the fact that these models are not measurement models, their usefulness remains ambiguous and should be detailed (Vautier, Veldhuis, Lacot, & Matton, 2012; Ziegler & Vautier, 2014). I would appreciate criticisms of my analysis.

1. The truth value of the statement “the probability that Paul passes this item now is 0.8”

How to know whether this statement is true or false? Let us consider any value p from ]0, 1[; the statement “the probability that Paul passes this item at this moment is p” is unfalsifiable because it entails “Paul will fail or pass”, which is tautological. Consequently, the answer to the question is: I don’t know (cf. Vautier, 2012).

If one assigns the values 0 or 1 to p, then at least one of the two statements is false. If Paul passes the item while p = 0 the statement is false; the same if Paul fails the item while p = 1.

Not so simple? Let us try again and consider the statement “the probability that Paul passes this item at this moment is 10-20”. Minuscule probability, which indicates that the possibility of passing is exceedingly small and that, as would say a friend whose psychometric scholarship is vast, one may reasonnably believe that Paul will fail the item. In other words, it would be surprising that Paul passes the item. And one would not bet that Paul will pass the item if one trusts those who claim such a probability. But… there are a lot of players in the gambling market, despite the games of chance are made in such a way that the probability to win is minuscule. The point is not scientific but philosophical: given that one ignores what governs Paul’s success, everyone is free to make his own divination.

Let us move backward to the premise. How to do to know the probability’s value? By deduction, but starting from what premises? Help, mister Valéry! By the use of relevant empirical knowledge? Only frequencies can be known, which deserves further elabotation.

2. Heads or tails, and the Binomial distribution: its works… more or less

“The probability of tails when I will flip the coin is 0.1”. Reading this satement literally, one has no available empirical knowledge since the coin has not been tossed. In other terms, one can only state ignorance; the surplus meaning of the probabilistic statement pertains not on the coin’s future behaviour but on the intention of the person who makes the probability statement (for example, “I would not bet on tails, so follow my example”).

Taking an empiricist point of view, one can invoke a reference class, that is, a set of distinct draws of the same coin, of which one postulates that they obey the same probability. Suppose the coin has been tossed n = 40 times, and one knows k = the number of tails. Can the data be used to measure the probability or to test its value?

Let us begin with the statistical test. If the number k of tails is high, one will be tempted to question this probability’s value (p = 0,1) since tails is by hypothesis very unlikely. But one should be aware of the fact that this feeling of doubt or surprise is logically invalid. The probability p = 0,1 prevents nothing: one may observe 0 tails, 1 tails, 2 tails, etc. until 40 tails in the series of the 40 draws. The Binomial distribution B(40, 0.1) indicates that the probability of observing 40 tails for example is 10-40, a very small but non-null number.

Here is the pragmatics the of null hypothesis testing in statistics: one chooses a type 1 error value (i.e., the risk of rejecting the hypothesis while it is true) of 0.05 for example, which corresponds to at least seven tails. If the series exhibits at least seven tails, the hypothesis p = 0.1 will be rejected. Warning: in this approach, rejection is not falsification because the hypothesis p = 0.1 is unfalsifiable: its consequences on the series of 40 draws prevent no logically possible events.

To sum up: the statement “the probability of tails when I will toss the coin is 0.1” is not statistically testable because the reference class of this probability contains zero element before the draw, only one element once the coin has been tossed. The number 0.1 can be used as an index (and not a measurement) of the trust one can have in the divination “tails”, but, like promises in politics, the divination commits only its believers.

Using a reference class of size n, one can test statistically the probability’s value by counting the relevant events in the series of the n draws, once a rejection policy has been adopted—but it is logically invalid since any number of tails, from 0 to n, is compatible with the hypothesis. Thus, if the divination “tails” does not succeed often enough, one has a conventional means to reject the expertise of those who stated the probability—which has few practical incidence when one considers respondents’ item responses because the experts in probability are not here; psychometricians are smart enough not to risk themselves in practical settings (see Rasch’s remark): they let scoring models’ users… use the scores.

Now let us consider the former approach, where one wants to measure the probability p by using the Binomial distribution B(40, p) and k. One refers to the probability Cnkpk(1 – p)nk of k hits in a series of n draws (see on the Internet any article on the Binomial distribution for details on the formula) and one seeks the value p that maximizes this probability. But there is a problem: if one manages to observe a new k, say k’, one can find another value and hence another measurement of p by maximizing Cnk’pk’(1 – p)nk’. Furthermore, one has to bound p by accumulating observations, instead of determining the exact value from a unique k. The issue arises whether the interval can be more accurate than ]0, 1[.

Let us reason by the limiting case. If the approximation interval could be restricted, some intervals bounded to the left by 0 or to the right by 1 would be excluded; but the probability value p that maximizes Cnkpk(1 – p)nk when k = 0 is p = 0, and the probability value p that maximizes Cnkpk(1 – p)nk when k = 40 is p = 1. As any probability lying in ]0, 1[ is compatible with k = 0 or k = n, one cannot exclude that the estimation yields the values 0 or 1. As the possibility of a counter-example precludes these extreme values, it follows that the probability that is maximized varies in ]0, 1[, depending on k. Consequently, one ignores how to measure the probability p for strictly logical reasons (see also the third section 3 of the note #4). Could anyone object to this argument?

Anyway, to estimate a probability by using the maximum likelihood requires the availability of a big-sized reference class, which stumbles over a second serious objection.

3. Passing or failling the item, and the Binomial distribution: it does not work

Let us go back to the field of scientific psychology: what reference class is available when one speaks of the probability that Paul passes the item now? It is the empty set as long as Paul has not treated the item, a singleton once he treated it. If, by a thinking experiment, one asks Paul to treat the item 40 times in order to use the number of hits to obtain a totally inaccurate measurement of his probability to pass this item at any moment, one realizes that there is a theoretical, and redhibitory impossibility: how to assume that the probability that Paul passes the item at the first trial is the same as the probability that he passes the same item at the nth trial? Paul is learning—i.e., he changes with experience. This argument seems to me sufficient to conclude that in psychology of item responses, one cannot use the notion of a reference class as an empirical basis for a probabilistic theorization of the response of anyone to any item.

4. The psychometric attempt

The preceding discussion seems not very relevant to psychometricians because they are essentially interested in the problem of how to assign a number to a m-tuple of responses. The notion of probability plays no theoretical role but an instrumental or computational role. But this role takes a meta-theoretical function: one is scoring, hence comparability is warranted.

The main idea of an item response model consists in replacing the measurement function, which models the item response with probabilities 0 or 1, by a psychometric function, which models the probability of the item response, with the assumption that the probability varies in ]0, 1[. To give an idea of what is at stake, I will refer to the Rasch model and built on Mark H. Moulton’s Rasch Estimation Demonstration Spreadsheet. As my purpose is not technical but epistemological, I will not draw the reader into the maze of the computations but rather into the analysis of the scientific meaning of the results. The objective is to understand that probabilization enables one to find out numerical values by successive trials, in such a way that these values provide necessarily, or converge toward the best possible solution. The question is: how to define the best solution? The best solution is that which minimizes a so-called residual quantity. The beauty of the art of statistical estimation rests on the existence of mathematical properties like the uniqueness of the solution that minimizes the residual. This uniqueness is a criterion for the social acceptability of the best scoring since one wants to score.

The starting point of the estimation process is a list of m-tuples as illustrated in Moulton’s spreadsheet. It can be seen that the 10-tuples are not simply ordered, which means that no measurement function exists (cf. note #3). Nevertheless, one wants to assign a numerical value to the items’ thresholds and to the 10-tuples, while admitting random ordinal defects. The random factor is modeled by the formula

Pr(Xsi = 1) = exp(βsδi)/[1 + exp(βsδi)],

where Xsi is a random, binary variable, the reference class of which is the virtual population of trials by the person s treating the item i, βs is the value to be assigned to s, and δi is the threshold of i (in the set of the real numbers instead of in [0, max]). This formula is equivalent to the logit

ln[Pr(Xsi = 1)/(1 – Pr(Xsi = 1)] = βsδi,

that defines the difference between the value of s and the item’s threshold.

This theoretical framework is nearly the same as the measurement framework, but the domain of the quantity to be estimated/measured is the set of the real numbers. However, in contrast to the scientific approach that recognizes that the quantity may not be measurable by the m-tuples if the measurement function is false, the psychometric approach assumes measurability by supplementing the theoretical framework with a probabilistic framework, the added value of which is computational, while recognizing that this framework is false (see for example Embretson and Reise’s remark—this is not redhibitory, it suffices that probabilities are useful to the scoring purpose).

Let us follow Moulton. The 10-tuples allow one to compute the proportion of hits for each of the nine respondents, and the proportion of incorrect responses for each of the 10 items, and the proportions are transformed into logits (the items’ logits being centered). The key of the estimation process  is the definition of the residual quantity of each cell in the contingency table (9 × 10). The respondents’ logits and the items’ centered logits are used as estimates of the βss and δis, which allows to estimate the probabilities to pass each item for each respondent (the probabilities are the mathematical expectations of the Xsis). The residual is the difference between the observed value (1 for success) and the expected value that has been computed.

Remark. The expectation of each Xsi is defined only if the variable’s values are treated as additive numbers. But 0 and 1 are just practical codes for “incorrect” and “correct”. The variable Xsi is not a numerical random variable; at best, it is a qualitative random variable if one admits the existence of the probability distribution that is associated with the observed response. The variable Xsi has no mathematical expectation.

Then one has to adjust the estimated logits in such a way that the residuals will be minimized, and so on until the gains become negligible. Indeed, this is great art and the algorithmicians of statistical optimisation could be admired. Finally, one obtains 10 values that order the respondents on a scale with nine rungs that have numerical values.

But the beauty of the picture should not mask this initial fact: the probability that any respondent amongst the 10 respondents pass any item amongst the nine items is a value in ]0, 1[. Even if, for pragmatic reasons, one accepts the unfalsifiability of the statements that can be derived, this probability is not statistically testable because its reference class is a singleton if the item response is known, an empty set if it is ignored.

The psychometric estimation gives the best possible values to the observed 10-tuples, that is, the best hierarchy, along with the socio-technical innovation that consists in making the experts of the optimization algorithm the sole persons who know to define exactly what is the best. The Rasch model, and more generally the psychometric item response models, are sophisticated numerical aggregation methods of partially ordered data, not measurement methods. Their development is possible just because the invoked quantities are not measurable.

22a. La probabilité de réussir l’item

Les modèles psychométriques de réponse à l’item reposent sur la notion de probabilité de réussir un item. Cet article explore cette notion dans une perspective épistémologique plutôt que psychométrique (c’est-à-dire statistique). Adopter une perspective épistémologique consiste ici à se demander (i) comment on fait pour savoir quelque chose à partir de la notion de probabilité et (ii) si ce savoir est falsifiable. La conclusion de l’article est qu’un modèle de réponse à l’item (MRI) ne fournit pas un savoir falsifiable sur les différences quantitatives invoquées par le modèle. Si les réponses aux items étaient des mesures (ordinales), les modèles probabilistes de réponse à l’item seraient superflus. Et si on est au clair avec le fait que ces modèles ne sont pas des modèles de mesurage, leur utilité demeure ambigüe et doit être précisée (Vautier, Veldhuis, Lacot, & Matton, 2012). Je remercie par avance chaleureusement tous les commentateurs férus de psychométrie, statistique ou autres probabilités qui voudraient bien me critiquer.

1. La vérité de la proposition « la probabilité que Paul réussisse cet item à ce moment vaut 0,8 »

Comment fait-on pour savoir si cette proposition est vraie ou fausse ? Prenons n’importe quelle valeur p dans ]0, 1[, la phrase « la probabilité que Paul réussisse cet item à ce moment vaut p » est infalsifiable parce qu’elle implique “Paul va échouer ou réussir”, ce qui est une tautologie. Donc la réponse à la question est : je ne sais pas (cf. Vautier, 2012).

Si on donne les valeurs 0 ou 1 à p, alors au moins une des deux phrases est fausse. Si Paul réussit alors que p = 0 la phrase est fausse ; idem si Paul échoue alors que p = 1.

Pas si simple ? Essayons encore et considérons la phrase « la probabilité que Paul réussisse cet item à ce moment vaut 10-20 ». Minuscule probabilité, qui indique que la possibilité de réussite est infime et qu’on peut, comme dirait un ami dont l’érudition psychométrique est immense, raisonnablement croire que Paul va échouer. En d’autres termes, on serait très surpris que Paul réussisse. Et donc on ne parierait pas sur la réussite de Paul si on fait confiance à celui qui indique une telle probabilité. Dans cette histoire, il s’agit de la confiance qu’on a dans celui qui énonce la probabilité.

Remontons à la prémisse. Comment fait-on pour savoir la valeur de la probabilité ? Par déduction mais alors à partir de quelles prémisses ? Au secours Valéry ! Par la connaissance empirique pertinente ? On ne peut que connaître des fréquences, ce qu’il faut développer.

2. Pile ou face et la loi binomiale : ça « marchotte »

« La probabilité que la pièce de monnaie qui se trouve devant moi tombe sur pile quand je vais la lancer vaut 0,1 ». On ne dispose d’aucune connaissance empirique puisque le lancer n’a pas eu lieu, ni de connaissance physique sur le centre de gravité de la pièce. Autrement dit, on dit qu’on ne sait pas et le surplus de sens est une information non pas sur la pièce de monnaie mais sur l’intention de celui qui parle (du registre « je ne parierais pas sur pile, faites comme moi »).

On peut adopter un point de vue empiriste, en faisant appel à une classe de référence, ou encore, c’est la même chose, une population statistique, c’est-à-dire un ensemble de lancers différents de la même pièce de monnaie, dont on postule qu’ils sont régis par la même probabilité. Supposons que la pièce ait été lancée n = 40 fois et qu’on connaisse k = le nombre de fois où elle est tombée sur pile. On peut utiliser les données pour estimer ou pour tester la valeur de la probabilité.

Commençons par le test statistique. Si le nombre k de piles est grand, on sera enclin à douter de la valeur de cette probabilité, puisque pile est par hypothèse très peu probable (p = 0,1). Mais il faut bien voir que ce sentiment de doute ou d’étonnement est logiquement invalide. La probabilité p = 0,1 n’exclut aucun résultat : on peut observer 0 pile, 1 pile, 2 piles, etc. jusqu’à 40 piles dans la série des 40 lancers. La loi binomiale B(40 ; 0,1) indique que la probabilité d’observer 40 fois pile par exemple vaut 10-40, ce qui est très petit mais pas nul.

Voici donc la pragmatique du test de l’hypothèse nulle en statistique : on se donne un risque d’erreur de type 1 (i.e., rejeter l’hypothèse alors qu’elle est vraie) de 0,05 par exemple, ce qui correspond à au moins 7 piles. Si la série exhibe au moins 7 piles, on rejettera l’hypothèse p = 0,1. Attention encore : dans cette approche, le rejet n’est pas une falsification parce que l’hypothèse p = 0,1 est infalsifiable : ses conséquences sur une série de 40 lancers n’excluent aucun événement logiquement possible.

Récapitulons. On ne peut pas tester statistiquement la phrase « la probabilité que la pièce de monnaie que je regarde tombe sur pile quand je vais la lancer vaut 0,1 » parce que la classe de référence de cette probabilité contient zéro élément avant le lancer, un seul élément une fois qu’on a le résultat du lancer. On peut utiliser le chiffre 0,1 comme un indice (et pas une mesure) de la confiance qu’on peut avoir dans la divination “la pièce va tomber sur face”, mais, comme pour les promesses en politique, croire en la divination n’engage que ceux qui croient. Les statisticiens savent que les probabilités n’ont de sens que lorsqu’on se réfère à une classe de référence définie par un très grand nombre d’expériences aléatoires, par opposition à une expérience unique (déjà advenue ou qui va advenir).

Si on se donne une classe de référence dont le cardinal (la taille) est n, on peut tester statistiquement la probabilité à partir du comptage des événements pertinents dans la série de n essais, en se donnant une politique de rejet de l’hypothèse qui est logiquement invalide puisque tout nombre de “succès”, de 0 à n, est compatible avec l’hypothèse. Ainsi, si les divinations “face” réussissent trop peu souvent, on a un moyen conventionnel de rejeter l’expertise de celui qui fournit la probabilité — ce qui a peu d’incidence pratique parce que dans la vie concrète où on appréhende les réponses à l’item de quelqu’un, l’expert en probabilités n’est pas là — il est expert d’un grand nombre d’expériences aléatoires qui définissent une classe de référence de très grande taille — ; en tant que statisticiens spécialisés en psychologie, les psychométriciens sont assez malins pour ne pas se risquer dans des situations d’utilisation individuelles (voir la remarque de G. Rasch) : ils laissent les utilisateurs de modèles de scorage… utiliser les scores.

Il reste l’autre approche, où on veut estimer la probabilité p à partir de la loi binomiale B(40, p) et de k. On se réfère à la probabilité Cnkpk(1 – p)nk de k “succès” dans une série de n essais (voir sur Internet tout article sur la loi binomiale pour les détails de la formule) et on cherche la valeur p qui maximise cette probabilité. Mais il y a un problème : si on se donne les moyens d’observer un nouveau k, disons un k’, on peut trouver une autre valeur et donc une autre estimation de p par maximisation de Cnk’pk’(1 – p)nk’. On est alors conduit à encadrer p par l’accumulation d’observations, au lieu de déterminer sa valeur exacte à partir d’un seul k. La question est de savoir si cet encadrement peut être plus précis que ]0, 1[.

Raisonnons par l’absurde. Si on pouvait réduire l’approximation, on exclurait certains intervalles de valeurs bornés à gauche par 0 ou bornés à droite par 1 ; or la valeur de la probabilité p qui maximise Cnkpk(1 – p)nk pour k = 0 est p = 0 et la valeur de la probabilité p qui maximise Cnkpk(1 – p)nk pour k = n est p = 1. Comme toute probabilité dans ]0, 1[ est compatible avec k = 0 et k = n, on ne peut exclure que l’estimation donne les probabilités 0 ou 1. Comme la possibilité d’un contre-exemple exclut ces valeurs extrêmes, il reste que la probabilité qu’on maximise varie dans ]0, 1[. Par conséquent, on ne sait pas estimer la probabilité p avec une précision plus fine que ]0, 1[ pour des raisons purement logiques (voir aussi la section 3 de l’article 16a). Quelqu’un pourrait-il offrir une objection à cet argument ?

Quoiqu’il en soit, l’estimation d’une probabilité par maximisation de la vraisemblance nécessite qu’on dispose d’une classe de référence de grande taille et on bute sur une seconde objection sérieuse.

3. Réussir ou échouer l’item et la loi binomiale : ça ne marche pas

Revenons à la réalité de la psychologie scientifique : quelle est la classe de référence dont on dispose quand on parle de la probabilité que Paul réussisse cet item à ce moment ? C’est l’ensemble vide tant que Paul n’a pas traité l’item, un singleton quand il l’a traité. Si on imagine qu’on demande à Paul de traiter l’item 40 fois pour utiliser la fréquence des réussites comme mesure totalement imprécise de sa probabilité de réussir cet item à n’importe quel moment, on se rend compte d’une impossibilité théorique rédhibitoire : comment soutenir que la probabilité que Paul réussite l’item au premier essai soit la même que la probabilité qu’il réussisse le même item au nième essai ? Paul apprend — i.e., il change avec l’expérience. Cet argument me semble suffisant pour conclure qu’en psychologie de la réponse à l’item, on ne peut pas utiliser la notion de classe de référence (ou, ce qui est équivalent, de schéma de Bernouilli d’ordre n) comme fondement empirique de théorisation probabiliste de la réponse de quiconque à un item quelconque.

4. La tentative psychométrique

La discussion qui précède intéresse peu les psychométriciens parce qu’ils s’intéressent essentiellement à résoudre le problème de l’assignation d’un nombre à un m-uplet de réponses (cf. l’article 10a). La notion de probabilité n’a pas de rôle théorique, mais un rôle instrumental ou encore calculatoire. Mais ce rôle a une fonction méta-théorique : on score, donc on garantit l’évaluabilité (cf. les articles 10a, 13a, et aussi 19a).

L’idée essentielle d’un modèle de réponse à l’item, consiste à remplacer la fonction de mesurage, qui modélise la réponse à l’item avec les probabilités 0 ou 1, par une fonction psychométrique, qui modélise la probabilité de la réponse à l’item, celle-ci devant nécessairement se trouver dans ]0, 1[. Pour donner une idée précise de ce qui est en jeu, je vais me référer au modèle de Rasch et m’appuyer sur la Rasch Estimation Demonstration Spreadsheet de Mark H. Moulton. Le propos n’étant pas technique mais épistémologique, je n’entraînerai pas le lecteur dans les méandres des calculs mais plutôt dans l’analyse de la signification scientifique des résultats. Il s’agit de comprendre que la probabilisation permet de trouver des valeurs numériques par tâtonnements successifs de telle manière que ces valeurs fournissent nécessairement, on dit aussi convergent vers, la meilleure solution possible. La question est : comment définir le meilleur ? La meilleure solution est celle qui minimise une quantité qu’on appelle résiduelle. La beauté de l’art de l’estimation statistique tient à l’existence de propriétés mathématiques comme l’unicité de la solution qui minimise le résidu. Cette unicité constitue un critère d’acceptabilité sociale du meilleur scorage puisque scorer on veut.

Le point de départ de la démarche d’estimation est une liste de m-uplets dont Moulton donne un exemple. On constate que les 10-uplets ne sont pas simplement ordonnés, ce qui, répétons-le, signifie qu’il n’existe pas de fonction de mesurage (cf. l’article 11a et aussi l’article 13a). Mais on veut quand même donner une valeur numérique aux seuils des items et aux personnes qui ont fourni les 10-uplets, en admettant des irrégularités ordinales aléatoires. Le facteur aléatoire est modélisé par la formule

Pr(Xsi = 1) = exp(βsδi)/[1 + exp(βsδi)],

Xsi est une variable aléatoire binaire dont la classe de référence est la population virtuelle des essais du sujet s à l’item i, βs est la valeur qu’on veut attribuer à s et δi est le seuil de i (dans l’ensemble des réels et non pas dans [0, max]). Cette formule est équivalente au logit

ln[Pr(Xsi = 1)/(1 – Pr(Xsi = 1)] = βsδi,

qui définit l’écart entre la valeur de s et le seuil de l’item.

Ce cadre théorique est le même que le cadre théorique du mesurage, à la nuance près que le domaine de la quantité à estimer/mesurer est étendu à l’ensemble des nombres réels. Mais, contrairement à la démarche scientifique qui prend le risque d’affirmer la non-mesurabilité de la grandeur par les m-uplets si la théorie est fausse, la démarche psychométrique affirme la mesurabilité en dotant le cadre théorique d’un cadre probabiliste dont la valeur ajoutée est calculatoire, tout en reconnaissant que ce cadre est faux (voir par exemple la remarque d’Embretson et Reise — ce n’est pas rédhibitoire, il suffit que les probabilités soient utiles).

Suivons Moulton. Les 10-uplets permettent le calcul de la proportion de réussite des neuf sujets ainsi que la proportion de réponses incorrectes des 10 items, qui sont exprimées en logits (les logits des items étant ensuite centrés). La clé de la méthode d’estimation présentée par Moulton tient à la définition de la quantité résiduelle de chaque cellule de la table de contingence (9 × 10). Les logits des sujets et les logits centrés des items sont utilisés comme estimations des valeurs βs et δi ce qui permet d’estimer les probabilités de réussite de chaque item par chaque sujet (probabilité qui est équivalente à l’espérance de chaque Xsi). Le résidu est la différence entre la valeur observée (1 pour réussite) et la valeur espérée qu’on vient de calculer.

Remarque. L’espérance de chaque Xsi n’est définie que si les valeurs de la variable sont traitées comme des valeurs numériques. Mais 0 et 1 ne sont que des codes pratiques pour “échec” et “réussite”. La variable Xsi n’est pas une variable aléatoire numérique, c’est au mieux une variable aléatoire qualitative si on accepte l’existence de la loi de probabilité dont on la dote. Elle n’a donc pas d’espérance mathématique.

Il ne reste plus qu’à corriger les logits des sujet et les logits centrés des items de manière à ce que les résidus soient minimisés, et ainsi de suite jusqu’à ce que les corrections deviennent négligeables. Assurément, voici du grand art et on ne peut qu’admirer les algorithmiciens de l’optimisation statistique. Finalement, on dispose de 10 valeurs qui ordonnent les sujets sur une échelle numérique parsemée de neufs “barreaux” dont on connaît aussi les seuils.

Mais la beauté du tableau ne doit pas nous faire oublier ce fait initial : la probabilité qu’un sujet quelconque parmi les 10 sujets réussisse un item quelconque parmi les items qu’on connaît est une valeur dans ]0, 1[. Même si, pour des raisons disons pragmatiques, on accepte la non-falsifiabilité des propositions qu’on peut en tirer, cette probabilité n’est pas testable statistiquement parce que sa classe de référence est un singleton si on connaît la réponse à l’item, un ensemble vide si on l’ignore.

L’estimation psychométrique donne la meilleure valeur possible aux 10-uplets observés, c’est-à-dire les hiérarchise au mieux, avec l’innovation socio-technique qui consiste en ce que seuls les experts de l’algorithme d’optimisation savent définir exactement de quoi on parle quand on parle du meilleur. Le modèle de Rasch, et d’une manière générale les modèles psychométriques de réponse à l’item, sont de savantes méthodes d’agrégation numérique ou encore de hiérarchisation de données partiellement ordonnées, pas des méthodes de mesurage. Leur développement est possible précisément parce que les grandeurs qu’on invoque ne sont pas mesurables.

Paul Valéry sur la logique ou la guerre

Rappelez-vous tout simplement qu’entre les hommes il n’existe que deux relations : la logique ou la guerre. Demandez toujours des preuves, la preuve est la politesse élémentaire qu’on se doit. Si l’on refuse, souvenez-vous que vous êtes attaqué et qu’on va vous faire obéir par tous les moyens. Vous serez pris par la douceur ou par le charme de n’importe quoi, vous serez passionné par la passion d’un autre ; on vous fera penser ce que vous n’avez pas médité et pesé ; vous serez attendri, ravi, ébloui ; vous tirerez les conséquences de prémisses qu’on vous aura fabriquées, et vous inventerez, avec quelque génie, — tout ce que vous savez par cœur. (p. 103)

Valéry, P. (1946). Monsieur Teste. Paris : Gallimard.

Voir aussi Arendt (1958), Popper (1969/1979), Vautier (2021).

21a. Comparer des scores

Voici une question d’examen, la réponse d’un étudiant de L2 et mes commentaires de sa réponse.

Question. Soit un test de mémoire composé de 20 items cotés 0/1. Le score compte le nombre de réponses correctes (cotées 1). Julie a un score de 13 points et Paul a un score de 18 points. Peut-on en déduire que Paul a une meilleure performance que Julie ? Pourquoi ? (Attention au fait qu’un score n’est pas une performance, une performance étant un 20-uplet.)

Réponse de l’étudiant. Oui on peut déduire que Paul a une meilleure performance. Les scores de la performance sont concrets, observables et surtout mesurables.

Commentaire. Commençons par la réponse : “Oui on peut déduire que Paul a une meilleure performance”. Erreur… 🙁 Il faut faire attention à ce que déduire signifie. On peut déduire B de A si A implique B, ou, c’est la même idée, si B découle logiquement de A. Ici, la prémisse est “Julie a un score de 13 points et Paul a un score de 18 points”. Est-ce que cela implique que le 20-uplet sur lequel repose le score de Paul est supérieur au 20-uplet sur lequel repose le score de Julie?

Non, on sait (cf. 32a) que deux 20-uplets ne sont pas nécessairement comparables. Or, la connaissance des scores (13 et 18) ne permet pas de savoir quels sont les 20-uplets respectifs. On ne peut pas exclure que 13 agrège l’information de 11111111111110000000 et que 18 agrège l’information de 00111111111111111111 par exemple. Or ces 20-uplets sont incomparables.

Utilisons les notations de 11a. On a 13 = AX(Julie) et 18 = AX(Paul) (en négligeant l’ancrage temporel des personnes pour définir complètement les unités d’observation).

AX(Julie) < AX(Paul)” n’implique pas “X(Julie) ≤ X(Paul)”.

L’erreur de raisonnement est possible grâce à la confusion conceptuelle entre score et performance. Un score n’est pas une performance, c’est un jugement de valeur à propos, ou encore, une hiérarchisation sociale — par opposition à une hiérarchie naturelle — de la performance.

Concernant la justification de la réponse, “les scores de la performance sont concrets, observables et surtout mesurables”, il y a du travail à faire au niveau du maniement du français. On peut traduire “Les scores de la performance” par “les résultats du scorage de la performance, i.e., les X = AX ». Ces résultats sont-ils concrets ? Ce qui est concret, c’est la performance observée. Le score résulte de l’application d’une règle d’agrégation A de la performance X. Il est objectif en ce sens que deux psychologues qui partent de la même performance X et appliquent la même règle A obtiennent le même score X. Mais je ne sais pas en quoi ce score est concret ; c’est un symbole communicable. Il est observable une fois qu’il est écrit sur une feuille de papier par exemple, mais cette remarque n’est pas pertinente ici. Ce qui est pertinent, c’est qu’il ne représente pas complètement la performance X.

Dernier élément de la justification de la réponse : “Les scores sont mesurables”. Non. Ce qui est mesurable, c’est une grandeur qui, par définition, est une possibilité théorique non observable. Les scores peuvent éventuellement être considérés comme des mesures, c’est-à-dire, comme des mesurants, mais pas comme des mesurés (dans le même sens qu’on distingue signifiant et signifié en linguistique). Ce qui est mesurable, c’est le mesuré, pas le mesurant.

20a. Les m-uplets et leur dénombrement

Pour réfléchir aux problèmes de description objective, dont le mesurage est une des formes possibles, il faut pouvoir manipuler quelques abstractions élémentaires.

1. Les m-uplets

Un test de m items permet d’observer un m-uplet de réponses. Quand vous lisez le mot m-uplet, visualisez quelque chose comme ceci :

(¤, ¤, ¤, …, ¤),

où le symbole “¤” désigne une place. Un m-uplet est une liste de m places numérotées, peu importe qu’elles soient vides ou remplies. La place n° 1 est réservée à la réponse à l’item n° 1, la place n° 2 est réservée à la réponse à l’item n° 2 et ainsi de suite jusqu’à la dernière place, la n° m. Une place vide signifie qu’on ne connaît pas la valeur de la réponse mais que cette réponse est possible.

Notation. On peut noter x = (x1, x2, …, xm) un m-uplet, où les indices i = 1, 2, …, m désignent des rangs (notion d’ordre). On peut aussi utiliser une notation concaténée : (0, 1, 1, 0) = 0110.

La réponse au test est par définition un m-uplet de réponses aux m items du test. Pour habituer votre esprit à cet objet, vous pouvez jouer avec la valeur de m. Si le test comporte 20 items, la réponse au test est un 20-uplet (ce qui entraîne qu’il faut 20 places pour l’écrire). Si le test comporte 5 items, la réponse au test est un 5-uplet, etc.

2. Le nombre de m-uplets possibles

Quand on s’intéresse à un test, il faut pouvoir conceptualiser l’ensemble dans lequel se trouvent les observations qu’on peut faire. C’est l’ensemble de toutes les réponses possibles, autrement dit l’ensemble de tous les m-uplets possibles.

Beaucoup de gens, y compris des gens qui enseignent ou font de la recherche en psychologie, n’ont pas d’idée claire de ce qu’est un tel ensemble, ce qui est préjudiciable à leur réflexion parce que cet ensemble est une réalité logique fondamentale. On ne peut raisonner clairement si on ne sait pas sur quoi on raisonne (cf. Windelband).

Commençons par le cas le plus simple, un test à un item. Puisqu’on considère les réponses à un seul item, on cherche à se représenter (se faire une image de) l’ensemble de tous les 1-uplets possibles. Ici se trouve une chausse-trappe : on parle de 1-uplets, on retient le « 1 » dans sa tête et on déduit à tort qu’il y a un 1-uplet possible. Il faut savoir de quoi dépend le nombre de 1-uplets possibles. Le nombre de 1-uplets possibles est le nombre de réponses possible à cet item.

Si l’item est par exemple l’échelle analogique de douleur, il existe une infinité de points dans le segment [0 cm, 10 cm]. Donc il existe une infinité de 1-uplets possibles. Si l’item a deux réponses possibles (par exemple, l’item de calcul mental dont les réponses sont “incorrect” ou “correct”), il existe deux 1-uplets possibles. Si l’item est défini par k réponses possibles, il y a k 1-uplets possibles. Le nombre de m-uplets possibles n’est pas m.

Maintenant, considérons un test à deux items. On s’intéresse à l’ensemble des 2-uplets possibles. Ici, il faut combiner les réponses possibles au premier item avec les réponses possibles au second item. Le premier item a k1 réponses possibles et le second item a k2 réponses possibles. On procède de la manière suivante : on considère la première réponse possible au premier item, puis on considère les k2 réponses possibles au second item. On a donc k2 2-uplets possibles qui commencent par la première réponse au premier item. On passe ensuite à la seconde réponse possible au premier item, ce qui donne à nouveau k2 2-uplets possibles, qui commencent par la seconde réponse au premier item. On a donc 2 × k2 2-uplets possibles. On continue ainsi jusqu’à la k1ième réponse au premier item, ce qui donne k1 × k2 2-uplets possibles.

Généralisons : on considère un test de m items à  k1, k2, …, km réponses, respectivement. On a donc

k1 × k2 × … × km

m-uplets possibles.

Cas particulier : soit un test de m items à k modalités de réponse. On a k × k × … × k = km m-uplets possibles. Par exemple, un test de 20 items binaires génère un ensemble de 220 20-uplets possibles. Une seconde chausse-trappe mérite d’être signalée car beaucoup de gens s’y font piéger : le nombre de 20-uplets possibles n’est pas 202 !

Exercice non corrigé

19a. L’évaluation du retard mental selon Binet et Simon

La série d’articles regroupés dans ce blog sous la catégorie “Projet de précis” débute par une question : on ne sait mesurer aucune grandeur psychologique avec des réponses à des tests, d’où vient l’erreur ? Ma manière de répondre consiste à invoquer un désir d’efficacité chez certains psychologues : il s’agit du désir du pouvoir d’affirmer de quiconque se prête au “diagnostic” qu’il est plus (ou moins, ou aussi) intelligent qu’une norme (i.e., la plupart des enfants) ou qu’un autre quelconque, sous couvert d’une autorité scientifique. L’adjectif “intelligent” peut être remplacé par tout adjectif évaluatif qui convienne au propos (par exemple, “anxieux”, “honnête”, “névrosé”, “consciencieux”, etc.). Je termine de répondre en ajoutant que ce désir d’évaluation d’autrui l’emporte sur le désir de connaître. En effet, dans le contexte du mesurage, le désir de connaître conduit à la connaissance du fait qu’on ne sait pas mesurer de grandeur avec des réponses à des items de tests. Le désir de connaître et le désir d’évaluer autrui sous couvert d’une autorité scientifique sont conflictuels.

Au début du XXe siècle, Alfred Binet et Théodore Simon (1907) règlent ce conflit en proclamant l’utilisabilité (c’est-à-dire, dans la rhétorique plus contemporaine de la doctrine de la validation des tests, la validité) de leur échelle métrique de l’intelligence pour l’évaluation scientifique du retard mental des enfants (voir leur article de 1907 intitulé “Le développement de l’intelligence chez les enfants”). Binet et Simon règlent le conflit psychique (connaître vs. évaluer) en négligeant les faits empiriques qui contredisent que les réponses aux tests de leur échelle soient des mesures ordinales (parce que ces réponses ne sont pas simplement ordonnées — attention ici aux variations terminologiques selon les époques : les tests de l’échelle de Binet et Simon sont les items du test de Binet et Simon). On retrouve le même mouvement institutionnalisant que celui qu’on remarque avec le modèle de Guttman ou, pour ce qui concerne l’accord inter-juges, avec le kappa de Cohen : on néglige les observations falsifiantes et on propose une convention que tout utilisateur intéressé par la nouvelle efficacité peut prendre à son compte. Le scientisme psychotechnique tient à l’opacité des motivations subjectives de la convention qui édicte l’efficacité contre les faits falsifiants, opacité qui offre le support de projection suffisant pour que le profane face confiance aux experts qui se sont constitués en adoptant (et en défendant) cette convention.

1. Le désir d’efficacité : René T., sept ans, a l’intelligence d’un enfant de huit ans

L’efficacité sociale de l’utilisateur de l’échelle de Binet et Simon tient à sa capacité à mesurer le nombre d’années d’avance ou de retard mental de tout enfant. L’évidence performative de l’emploi du terme “mesurer” suffit pour que soit reconnu, par consentement passif, le caractère scientifique d’une telle efficacité. Le détenteur de ce pouvoir d’évaluation affirme l’avance ou le retard mental grâce à un procédé scientifiquement validé. Si on demande au psychologue comment il sait que René T. a une avance d’un an, on étale humblement son ignorance et sa condition de non-expert. Si on persiste dans une telle demande de justification, on offense le psychologue parce qu’on met en doute son expertise. Si on est poli, on se tait et on respecte les règles du jeu social. Résultat : le scientisme gagne sur la scientificité en même temps que les experts d’un discours qui plaît au Prince prennent pied dans le champ social.

Persistons tout de même dans l’impertinence, puisque la transparence de Binet et Simon le permet. René réussit sept des huit items de son âge. On se réfère à la règle n° 1, selon laquelle “Un sujet a le développement intellectuel de l’âge le plus élevé dont il accomplit toutes les épreuves, avec tolérance d’un insuccès dans une des épreuves de cet âge” (p. 65). D’où l’administration des six épreuves de la catégorie “huit ans”. René réussit trois épreuves.  On se réfère à la règle n° 2 : “Une fois que le niveau intellectuel d’un sujet est fixé [ici, le niveau est fixé à 7 ans d’après la règle n° 1], on le fait bénéficier d’une avance de un an toutes les fois qu’il a exécuté au moins 5 épreuves supérieure à son niveau ; et on le fait bénéficier d’une avance de deux ans, s’il a exécuté au moins 10 des expériences supérieures à son niveau” (p. 65). On observe quatre réussites pour les six épreuves de “9 ans”. Enfin, René réussit l’une des cinq épreuves de la catégorie “10 ans” (je passe sur la question de savoir combien d’épreuves on doit compter). Verdict de Binet et Simon : “Il fait toutes les épreuves de sept ans, moins une. Donc, il est au moins du niveau de sept ans. En outre, il fait 8 épreuves des âges suivants [3 épreuves “huit ans” + 4 épreuves “neuf ans” + 1 épreuve “10 ans”] : il est donc largement en avance d’un an sur son âge” (p. 68).

L’observation des réussites et des échecs aux items administrés constitue un problème d’observation et les auteurs soulignent la difficulté engendrée par la tâche de catégorisation que l’observateur doit effectuer. Mais, cette difficulté n’empêche pas le comptage du nombre de réussites/échecs, dont le résultat est nécessaire pour le jugement final via l’application des règles n° 1 et 2.

L’échelle métrique de l’intelligence est dite métrique parce que l’unité de mesure est une année de développement intellectuel. La question qui se pose est de savoir comment relier les réponses aux items de l’échelle (i.e., de la liste d’épreuves) à la grandeur “développement intellectuel”.

2. La négligence des faits falsifiants

Puisqu’on adopte une description binaire (échec vs. réussite) de la performance à tout item, le mesurage de la grandeur par les réponses suppose une fonction à deux paliers. Ainsi, si on considère que les réponses mesurent une quantité de développement intellectuel dans une population d’enfants donnée, les réponses devraient obéir à un modèle de Guttman ou, de manière équivalente, à une loi de comparabilité. Binet et Simon sont lucides sur ce point lorsqu’ils se demandent comment interpréter les m-uplets de réponses observés.

“Il est évident tout d’abord que, quel que soit l’ordre dans lequel on dispose les épreuves, on n’en trouvera jamais une seule qui soit telle que, lorsqu’on l’a franchie, toutes les précédentes soient franchies, et toutes les suivantes soient ratées” (p. 63). Binet et Simon posent ici le principe du mesurage ordinal par des m-uplets et admettent d’emblée que ce principe ne tient pas empiriquement. Ils poursuivent comme ceci : “On peut bien établir cet ordre d’épreuves pour un sujet particulier, mais ce même ordre ne sera pas satisfaisant pour un second ou pour un troisième” (p. 63). Cette remarque est cruciale : la difficulté d’un item n’est pas une propriété générale, c’est-à-dire qui vaut pour tous les enfants de la population considérée. Autrement dit, il est impossible de situer les réponses des enfants sur une même échelle de difficulté. Ceci est le résultat scientifique des observations scientifiques de Binet et Simon.

Nonobstant, les auteurs persistent dans leur désir d’ordonner les enfants en fonction de leurs réponses sur une échelle fantasmagorique d’âge de développement intellectuel, qui leur confèrerait le pouvoir du diagnostic du niveau de développement intellectuel de tout enfant. Il faut avoir en tête que Binet et Simon ont réalisé leurs travaux pour répondre à une commande de l’autorité politique de l’époque. D’où la surdétermination, ô combien contemporaine, des conclusions de leurs travaux : il était socialement impossible, i.e., inacceptable, de conclure à la non-mesurabilité du développement intellectuel des enfants par les techniques descriptives dont Binet et Simon avait accepté de se faire les champions.

3. La fabrication de l’expertise via la proposition de conventions

La solution de Binet et Simon est statistique dans le mauvais sens épistémologique du terme, c’est-à-dire qu’elle invente une réification. Les épreuves sont “rangées d’après l’âge où la majorité des enfants les exécutent”. La réification se trouve dans la notion de majorité. La majorité n’existe dans la psychologie d’aucun enfant, alors on l’introduit pour ainsi dire de force, par décret du désir de l’y trouver. Et les auteurs de poursuivre avec une candeur admirable : “C’est là notre échelle métrique de l’intelligence” (p. 58). Une fois que la convention d’ordonnancement des items est acquise, le problème consiste à trouver des items qui nécessiteront le minimum de conventions d’application, lesquelles sont les règles d’application n° 1 et 2 (présentées dans le paragraphe  1).

On sent l’affrontement du désir de scientificité et du désir d’efficacité sociale dans plusieurs passages de l’article. Par exemple, les auteurs soulignent la diversité non pas ordinale mais nominale des réponses observées : “Chaque enfant a son individualité ; tel réussit mieux l’épreuve A et échoue pour l’épreuve B ; tel autre, de même âge, échoue pour A et réussit au contraire pour B. A quoi tiennent ces différences individuelles dans les résultats expérimentaux ? Nous n’en savons rien au juste ; il est probable que les facultés mentales intéressées par les épreuves sont différentes, et d’un développement inégal suivant les enfants” (pp. 63-64). Autrement dit, les auteurs doutent de l’hypothèse princeps de leur projet d’échelle, selon laquelle les réponses aux items dépendent d’une seule grandeur. Mais, au lieu d’en déduire la non-mesurabilité de cette unique grandeur par les réponses aux épreuves de leur test, ils concluent illogiquement “qu’on ne peut déterminer le niveau intellectuel d’un enfant que par un ensemble d’épreuves” (p. 64).

Il est correct de conclure que l’évaluation du niveau de développement intellectuel sur la base de l’observation d’un m-uplet de performances nécessite une convention sociale pour palier l’absence d’une loi d’ordre naturelle. La nécessité d’une telle convention implique que la validation (i.e., certification) de l’échelle métrique de l’intelligence n’est pas une question scientifique, mais une question sociale. L’utilité de l’évaluation du retard ou de l’avance de développement peut être défendue sur une base sociétale et éthique (par exemple, il est bon que les enfants puissent être pris en charge dans des conditions éducatives adaptées à leurs performances intellectuelles — mais est-il bon que l’institution scolaire établisse, sous couvert de la science psychologique naissante, qu’un enfant est ou bien normal ou bien retardé ?). Pour autant, les psychologues ne devraient pas participer à la réification du niveau de développement intellectuel, qui, parce qu’elle repose sur la fausse idée de sa mesurabilité, conduit à une forme de scientisme sans lequel la naturalisation quantitative de la catégorie d’enfant retardé est impossible.

Terminons avec la mise en garde de Binet et Simon : “… la dite convention, si bonne qu’elle soit, donnera toujours au procédé un caractère artificiel ; à tel point que si, par hasard, on avait adopté une convention autre, on serait arrivé à des résultats sensiblement différents. Nous croyons nécessaire d’insister à ce sujet ; car nous serons conduits, plus tard, pour la simplicité du langage [là se trouve l’efficacité sociale], à dire qu’un enfant de huit ans a une intelligence d’enfants de sept ans ou de neuf ans ; ces expressions, par ce qu’elles ont d’absolu, pourraient donner lieu à des illusions” (pp. 64-65).

Référence

Binet, A., & Simon, T. (1907). Le développement de l’intelligence chez les enfants. L’ Année Psychologique, 14, 1-94.

18a. Qu’est-ce qu’une contribution scientifique en psychologie ?

Résumé. Les contributions scientifiques qu’on peut espérer en psychologie consistent à dépolluer la littérature, en isolant (1) les résultats empiriques fondés sur un simulacre de mesurage et (2) les propositions théoriques non testables. Complémentairement, un inventaire des questions ouvertes serait certainement très utile aux chercheurs en quête d’énigmes à résoudre.

Dans la recherche en psychologie la mise en œuvre d’un attirail d’analyses statistiques automatiques prévaut sur la pensée critique cependant que les équipes comme les personnes, candidates à un renouvellement, un recrutement ou une promotion, acteurs dans les instances d’évaluation,  co-construisent le pouvoir du “publish or perish”. Moins nous sommes capables, individuellement et collectivement, de définir nous-mêmes ce que nous appelons une contribution scientifique, plus nous honorons les indices bibliométriques.

Définir ce qu’est une contribution scientifique de manière générale est une gageure. On peut au moins proposer quelques éléments de réponse utiles pour motiver voire cadrer un projet de recherche particulier. Deux grandes catégories sont distinguables : (1) les contributions théoriques répondent à des questions de définition1, ou de logique2, tandis que (2) les contributions empiriques précisent ou complètent la connaissance qu’on a de certains phénomènes3. Dans les deux cas, un travail de recherche est une contribution s’il apporte quelque chose de neuf aux connaissances actuelles.

D’où la nécessité de  disposer d’un état des connaissances théoriques et empiriques relatif à son domaine d’investigation, pour montrer qu’on peut passer d’un état a à un état b des connaissances. Un cadre formel de description des connaissances est alors nécessaire — et si on ignore ce qu’il peut être, on a du pain sur la planche.

Lorsqu’on essaie d’appréhender l’état des connaissances à partir de la “littérature” (i.e., le discours officiel d’une communauté scientifique), on tombe souvent sur une masse impressionnante de propositions inintelligibles (ou qui donnent une impression fallacieuse d’intelligibilité, ce qui est pire). Si le refus de cette inintelligibilité suscite l’indifférence de la communauté qui se constitue par ce discours, alors on a un problème éthique vis-à-vis de notre responsabilité critique (cf. Lumsden, 1973 ; Michell, 2004 ; Rozeboom, 1984).

Comme le chercheur souhaite, légitimement, être coopté par la communauté à laquelle il s’adresse, il va apprendre à parler ce discours — bien souvent, lorsqu’il est étudiant, sous l’autorité de ses superviseurs académiques. On arrive ainsi, par la valeur adaptative du conformisme socio-technique qui règne dans ce que Max Notturno (2000) appelle l’institution scientifique, à une situation où il est presque impossible de remettre en cause la manière même dont une communauté scientifique détermine ce qui est pertinent et ce qui ne l’est pas (cf. Horkheimer et Adorno, 1974 ; Morin, 2008)4.

L’attitude que je défends consiste à ne pas céder à l’injonction conformiste si on a de bonnes raisons de penser qu’elle conduit à un simulacre d’activité scientifique. C’est évidemment le cas si on doit faire semblant de mesurer des construits comme l’anxiété, l’estime de soi et autres grandeurs psychologiques qui peuplent l’imaginaire de la psychologie contemporaine, en injectant des scores dans des analyses statistiques valorisées (notamment la modélisation des données avec des variables latentes). Le chercheur doit alors entreprendre un travail de dépollution intellectuelle (cf. Lakatos, 1978) avant de et pour pouvoir poser une authentique question scientifique.

Plusieurs approches de la “pelote de fils” sont possibles ; dans tous les cas il s’agit de mettre en place une méthodologie d’analyse d’un corpus de textes. Dans une perspective empirique, on peut tenter l’inventaire des variables utilisées, en commençant par dégager leurs modalités descriptives. Bien souvent, ces modalités sont des scores qui simulent un mesurage.  La question scientifique qui se pose d’une manière générale est celle de la mesurabilité des grandeurs auxquelles on s’intéresse. La question à laquelle on est ensuite ramené consiste à savoir ce qu’on décrit effectivement avec les techniques utilisées et on débouche classiquement sur un cadre descriptif qui est un produit cartésien rempli de m-uplets partiellement ordonnés (20a). La question qui se pose enfin est de savoir si on connaît des conditions telles que certains m-uplets soient théoriquement impossibles. Comme la littérature est muette sur la question, le chercheur est comme un explorateur abordant un continent vierge. Ce continent n’est sans doute pas un Eldorado et la tâche s’annonce ingrate.

Si on tire le fil de la théorie, la question cruciale concerne la falsifiabilité des propositions théoriques, qui doivent être logiquement connectées à certains concepts descriptifs empiriques. Aussi somptueuse soit-elle, une théorie qui ne peut pas être mise à l’épreuve des observations est une vision pour croyants. Un scientifique peut être un croyant, mais, en tant que logicien, il subordonne ses croyances aux faits empiriques qu’il connait, en particulier si celles-ci sont en contradiction avec les faits. On peut se perdre des années dans les limbes d’une belle théorie sans “toucher terre” une seule fois. Le problème d’une théorie non empirique ou empirique mais probabiliste, c’est-à-dire qui n’exclut rien, est qu’elle n’explique rien (4a).

Voir aussi 23a.

  1. e.g., comment définir le mesurage en psychologie ? (3a). []
  2. e.g., quelles propriétés doivent posséder les réponses à des items de tests si ce sont des mesures ? (11a). []
  3. e.g., deux juges ne sont pas interchangeables dans tel type de situations (8a) ou encore, les réponses de certaines personnes à un certain test ne sont pas des mesures ordinales (13a). []
  4. Un article qui approche les données de questionnaires autrement que par la modélisation psychométrique a toutes chances d’être rejeté parce qu’on n’admet pas que ces données ne soient pas analysées selon l’usage en vigueur ; le fait même que ledit article présente des arguments contre l’usage analytique en vigueur aggrave ses chances d’être rejeté. []

4b. Classical Test Theory Is a Triple Scientific Disaster

Classical Test Theory (CTT) underpins most of psychological test validation studies but does not explain how it is possible that a test score would measure a quantity. CTT interprets merely any score as the result of a random experiment. This random experiment is modelized by a probability law, which assigns a probabilty to any possible score when the person is tested. To supply the set of the possible scores with a probability law allows one to define a numerical random variable with a mathematical expectation. This expectation is qualified as the “true score”, in such a way that thanks to this mathematical construction, any score contains a true score and a measurement error, the arithmetical residual that bridges the gap between the two terms (the test score and the true score).

If test score users consider that observed scores contain true scores, and as soon as they adopt a realist interpretation of the truth concept (what is true is what occurs in the real world), they can deduce that these scores measure something. But CTT prevents them to claim that elementary interpretations of test scores are logically valid, because of the unrestricted nature of measurement error. For example, one cannot deduce from the observation, Paul’s anxiety score today is smaller than his anxiety score yesterday, that his true score decreased. Or, Paul’s IQ is higher than Julie’s IQ; this observation does not imply that Paul’s true IQ is higher than Julie’s true IQ. Consequently, the use of CTT as a statistical framework for test validation consists in adopting the epistemological norm according to which invalid interpretations of test scores are acceptable for an assessment practice that proclaims scientificity–psychological tests are deemed to have been scientifically validated.

In the perspective of psychological science, the use of CTT is a triple disaster. Firstly, by obscuring the logical distinction between a valid argument and an invalid argument, it prevents psychologists to have a clear sense of what a scientifically grounded conclusion is. Let us consider an argument of form “if premise then conclusion”: the conclusion is valid if it logically follows from its premise; if the premise is true, then the conclusion is valid and true. For a conclusion, based on a theory and some observations, be scientifically grounded, the observations have to be objective, that is, observer-independent (who can prove that the observations are true?), and the theory has to be corroborated, that is, successfully tested (i.e., tested and not falsified).

Secondly, the use of CTT allows psychologists to ignore that measuring a quantity by observing some phenomena requires–necessary condition–that these phenomena are simply ordered. The truth of the preceding proposition can be tested (see Scoring vs. Measurement), and it is unplausible (see the Definition).

Thirdly, by establishing that numerical aggregation of qualitative facts is the normal approach to objective description in scientific psychology, CTT encourages psychological researchers to underestimate the theoretical stakes of any descriptive methdology, especially by institutionalizing the ignorance of the conceptual difference between simple and partial ordering–which, to my knowledge, is detailed in only one textbook on psychological methodology: “An introduction to the logic of psychological measurement” by Joel Michell (1990).

The present note elaborates on the preceding points by (1) detailing the true score concept, (2) deducing that the comparison of two scores viewed as measurements of true scores confines to divination, (3) highlighting that probabilistic modelization has nothing to do with theorising about measurement functions, and (4) arguing that test scores should not mask the empirical m-tuples on which they are built.

1. The true score

The concept of the true score that is contained in a test score rests on two concepts, namely a scale of possible scores, and a probability function, which assigns a probability to any possible score. To my knowledge, CTT, as any psychometric theory, does not question the existence of probabilities nor does it raise the epistemological issue of how these probabilities could be known in a testable way.

Let us consider a scale of k scores xi, i = 1, 2, …, k. CTT postulates the probability law {pi, i = 1, 2, …, k} (which entails that the sum of the probabilities is equal to unity). It postulates also a random variable the expectation of which is, by definition, the sum of the scale scores weighted by their probabilities, that is,

true score = p1 x1 + p2 x2 + … + pk xk = Σ pi xi.

2. Scores comparison is divination

The insurmountable difficulties that result from this approach are cristal clear: how to deduce anything about the true scores of two scores? For example, Paul and Julie obtained IQ scores of 120 and 130, respectively. Can one deduce that Paul’s true IQ is lower than Julie’s true score? As one ignores the probability laws that are postulated to interpret the two IQs as the result of two random experiments, one ignores the two true scores. The score viewed by CTT is to the psychologist’s desire what Saint-Exupéry’s box is to Petit Prince’s desire: a box that contains an inaccessible sheep, a statistical shell for an inaccessible number.

3. The true score measures nothing

The idealization that yields the postulation of probability laws proliferating in a metaphysical space masks the fundamental problem of measurement. Measurement rests on a metaphysics of quantity, which does not coincide with that of probabilities. Indeed, a probability is a quantity that cannot be measured.

If a probability were measurable, one would be able to invoke an increasing function, which assigns one and only one point in a set of observable values to any point from [0, 1]. I do not see what such a set could be, and it is clear that the set of frequencies (or proportions) is not suitable, since any probability from ]0, 1[ is associated with at least two observable frequencies. It suffices to consider at least two random experiments based on the same probability law, such that the results are distincts. For example, I toss up a coin and I observe heads. I toss up the same coin and I observe tails. The proportion of heads that is associated with probability p is 1 if I consider the series “heads”, and 1/2 if I consider the series “heads, heads”.

CTT obscures the concept of measurement, since it diverts attention from the measurement process that should yield the score via a measurement function, by focusing it on the true score, the value of which remains inaccessible, even by upper and lower bounding.

4. The scores are qualitative compound events

As a statistical theory, CTT occults the empirical, experimental, or instrumental meaning of the scores. Test scores are treated as data in the proper sense of the term. The psychometrician does not wish to know about their origin, but accepts them without reservations, letting to the (non-statistician) psychologist the responsibility of their making. Such a division of labour enables a fools’ game, which aims at precluding the rejection of test scores as unsuitable scientific data.

The note Scoring vs. Measurement details the making process of test scores with the help of descriptive and scoring functions. The former, which is denoted by x, assigns a m-tuple of responses to any observation unit; the latter, a, assigns a score to any m-tuple. No score if no m-tuple. By its confinement to statistical analysis of scores, CTT enables the entire community of score users not to stumble over the evidence that, in order to measure a quantity by using some observables, these observables have to be simply ordered. But psychotechnical observables are m-tuples.

How to simply order m-tuples? For example, how to order (0, 0, 1) and (1, 1, 0)? Or, how to simply order points floatting in a cube? As soon as the descriptive approach is multivariate, its descriptive space is not a simple order because a simple order is a one-dimension space, within which objects are ordinally scaled, that is, posited one after the other with possible ties.

The classical test theoretician omits to notice that “0 and 0 and 1” does not equate with “0 plus 0 plus 1”. Such omission is faulty, since probability theory, which falls in the psychometrics’ area of responsibilty, rests on the concept of event algebra. The logical conjunction “and” is defined as a product instead of a sum, which corresponds to the logical disjunction “or”.  The 3-tuple (0, 0, 1), and more generally a m-tuple is not a sum but a logical product. This is a compound event, a co-occurrence.

Conclusion. It is time that psychologists, in their efforts towards scientificity, retake control of the theoretical elaboration of their data.

3b. Psychotechnical Scoring vs. Psychotechnical Measurement

The present note should be read with patience and tenacity because some technical notions, simple but abstract, are required for a minute conceptualisation. If the need arises, the reader should not hesitate to scroll the Internet to get information on specific notions (function, function composition, increasing function, Cartesian product…).

The conceptual difference between psychotechnical scoring and genuine psychotechnical measurement can be revealed by describing both of them as the composition of two functions, namely, ax (scoring) vs. fq (ordinal measurement). It suffices to show that the two function compositions are not identical to show that scoring and measurement are not interchangeable concepts.

To determine the score of a given person at a given moment (by using a psychological test), one has to determine then to score a psychotechnical description of this person at this moment. To measure supposes that the psychotechnical description results from a measurement process. If the supposition is false and if one endorses the scientific attitude, one cannot consider that the description results from a measurement process (hence, it is tempting to score the description as a non-scientific way of compressing the psychotechnical description into a numerical description).

1. The psychotechnical description x

The psychotechnical description is a function denoted by x: Ω → D. Its domain, Ω, is a statistical population. An observation unit from Ω consists usually of a person at a given moment, where “moment” means the temporal interval required by the test administration. Any observation unit is denoted by ω. The codomain of the description function x is denoted by D (for description). The elements from D ares m-tuples, where m indicates the number of the test items. A 3-tuple is for example (0, 1, 1), where 0 and 1 denote incorrect and correct responses, respectively. The bold type of the notations x and D indicates that the description is multivariate (as opposed to onevariate)–this is a m-tuple; a score is a 1-tuple.

For example, let us consider the observation unit ω = (Paul, t). The psychotechnical description of Paul when he is tested at moment t is given by his m responses to the test. This m-tuple is denoted by x(ω). Depending on the context, the notation x may denote any description, that is, x(ω) where ω is any observation unit, or the psychotechnical description viewed as a function, that is, x: Ω → D.

The function x is the conjoint function

x1x2xm: Ω → D1×D2×…×Dm = D

(which shows that D is a Cartesian product), where any xi, i = 1, 2, …, m, assigns one and only one image to any observation unit in the scale of each item i–the scale of the item is the set of its descriptive values.

2. The scoring rule a

A psychotechnical scoring rule is a function denoted by a: DS. Its domain is the codomain of x, that is, the set of the m-tuples that are possible given the test design. The codomain of a is denoted by S; S is a set of scores–the test scale. The score of any m-tuple from D is determined by “transformation rules”, or aggregation rules (hence the notation a). For example, the score of (0, 1, 1) is 2 points if one uses the common rule, which consists in counting the correct responses in the m-tuple.

3. The psychotechnical scoring ax

To test a person at a given moment by using a given test consists in determining her responses to the m test items–x(ω)–then to assign a score to this description– a[x(ω)]. This function composition is denoted by ax. The score of the observation unit ω is

(ax)(ω) = a[x(ω)] = x(ω).

The notation x denotes a psychotechnical score but it can also denote the function ax.

4. The quantitative hypothesis q

Measurement rests on the fundamental hypothesis that a quantity does exist (one mesures a quantity or one does not measure; saying that one measures a process is an example of uncareless speaking). This hypothesis can be stated as the hypothesis of a function

q: Ω → [0, max],

which assigns one and only one amount from the segment [0, max], where “max” denotes the highest possible amount of the quantity, to any unit observation from Ω.

The statistical notion of an observation unit deserves a remark in the present context. To suppose that the person possesses an instantaneous amount of the quantity is one thing, to suppose that this amount does not vary within the temporal interval the test administration requires is another thing. The invariance convention according to which the amount to be measured during the test administration does not vary is mandatory to test the hypothesis that this amount is measurable.

5. The measurement function f

The measurement funtion

f: [0, max] → D

is defined on the domain [0, max] and takes its values in the codomain D. Let us consider a m-item test. For any item i of the test, one supposes that there exists an increasing function fi: [0, max] → Di, where Di is the descriptive scale of the item i (see Measuring with Item Responses). The function f is the conjoint function

f1f2fm: [0, max] → D1×D2×…×Dm = D

(which shows, again, that D is a Cartesian product). The measurement value of the amount q by f is a m-tuple of values to be denoted by y.

A critical property of f‘s values is that they are simply ordered because any function fi is increasing. This point is detailed in Section 6. This property of simple order, or, in other words, of comparability, implies that the proposition, according to which two specific descriptions x(ω1) and x(ω2) result from the measurement of the amounts q(ω1) and q(ω2), is falsifiable. If x(ω1) and x(ω2) are incomparable, and one writes

x(ω1) <> x(ω2),

then at least one of these descriptions is not a measurement.

6. Psychotechnical measurement fq

A test enables one to measure the amount of a psychological quantity within an observation unit ω if this amount, q(ω), determines the psychotechnical description f[q(ω)]. The psychotechnical measurement is the function composition fq.

Let ω1 and ω2 be two observation units. Their measurements are respectively (fq)(ω1) = f[q(ω1)] = y(ω1), and (fq)(ω2) = f[q(ω2)] = y(ω2), where the letter y denotes the resulting description or the function fq.

Direct product order (definition). One says that f[q(ω1)] ≥ f[q(ω2)] if and only if for all is, fi[q(ω1)] ≥ fi[q(ω2)]. This definition applies also to x.

Theorem. f is increasing.

Proof.

Let ω1 and ω2 be such that q(ω1)  ≠ q(ω2):

  • If q(ω1) > q(ω2), then for all i = 1, 2, …, mfi[q(ω1)] ≥ fi[q(ω2)], hence f[q(ω1)] ≥ f[q(ω2)].
  • If q(ω1) < q(ω2), invert the subscripts of ω and go back to the preceding case.

Comparability (simple order). The increasing property of f implies that two measurements y1 and y2 are comparable.

7. Scoring vs. measurement

It can be seen formally that scoring and measurement are distinct operations, since x = ax is not the same symbol as y = fq. Put in other words, the availability of the score x does not necessarily means that there is an increasing function f such that x = fq (f is onevariate as x is onevariate).

Let Ωn be a set of n observation units. If there is one function f such that the image of Ωn by x is the image of Ωn by fq, that is, xn) = (fq)(Ωn), then one can suppose that the psychotechnical descriptions xn) are ordinal measurements of the amounts qn). In other terms, these descriptions are simply ordered, that is, the descriptions of two distinct observation units are either equal or strictly ordered. Then the score x expresses this ordinal property of comparability.

If such a function f does not exist, one ignores how to measure the amounts qn). It is possible that our ignorance results from the fact that these amounts do not exist–in which case we suppose them wrongly–, or from our inability to determine the experimental conditions that would allow us to suppose not against the empirical evidence that f exists.

If two observations units ω1 et ω2 exist in such a way that their descriptions are incomparable, i.e., i and j exist such that xi(ω1) > xi(ω2) and xj(ω1) < xj(ω2), then f does not exist and hence one cannot assert that the descriptions result from the measurement by f of the supposed amounts.

2b. Measuring with Item Responses: Measurement Functions

To pose the measurement problem in the context of psychological measurement with item responses, it is helpful to detail the notion of a format response. The formats of responses to test items are of two types: the responses vary in a discrete or in a continuous set.

For example, if one describes the response to the item

23 + 9 = ?

as correct or incorrect, the format is discrete. If a patient is instructed to indicate her pain intensity on the visual analogue scale below,

eva_reglette

the format is continuous: the response is described as the distance between the origin, 0 cm, and the ruler’s cursor (source: SFETD).

In both cases, the problem is: how does the response depend on the quantity to be measured? Let us call mental calculus ability the quantity that inspired the mental calculus item. A correct response to the item indicates a higher ability than the quantity which is indicated by an incorrect response. Coming back to the visual analogue scale, the more the cursor moves towards the left (when one looks at the “face de mesure”), the more pain increases.

1. The continuous case

Perhaps the continuous format is more intuitive to understand the concept of a measurement function. What rationale underpins the idea according to which the more the cursor moves towards the scale’s 10, the more pain increases? The rationale is the hypothesis that the cursor’s position the patient chose depends on her amount of pain. This hypothesis can be stated as follows: any point from [0, max], that is, any amount of pain, corresponds to one and only one point in [0 cm, 10 cm], that is, the segment within which the cursor varies.

By a small visual effort, one can consider a curve, which represents the measurement function. The function is defined in the segment [0, max] (its domain), where 0 corresponds to “no pain”, and max corresponds to the worst imaginable pain; the function takes its values in the segment [0 cm, 10 cm] (its codomain). This function is increasing, that is, if the amount of pain increases, the cursor’s distance increases as well. Put in mathematical symbols,

x1 > x2 => f(x1) > f(x2),

where x1, x2 denote amounts of pain, and f denotes the function that determines the corresponding distances.

One ignores this function and one has a wide choice. Linear, concave or convex curves are possible. One ignores whether a given amount of increase results in the same empirical effects (i.e., observable on the cursor’s position) depending on the initial amount of pain. For example, one ignores whether the amount of pain variation that corresponds to the cursor’s variation when it moves from 1 to 2 cm is the same as the amount of pain variation that corresponds to the cursor’s variation when it moves from 8 to 9 cm. One ignores whether the patient who indicates 4 cm suffers twice as much as when she indicates 2 cm.

The centimeter is a length unit; one admits that the measured length measures a pain amount, and that it is an ordinal measurement (that is, one speaks the language of “more or less”). As long as the function that one hypothetizes has not been discovered for a given patient, one cannot measure her pain metrically (i.e., by using a pain unit).

Let us recapitulate: “a pain scale measures pain” means that one admits that the length between the origin and the cursor depends increasingly on the amount of pain. This dependency (or causal relationship) is thought of as a function of unknown nature. This function is a measurement function (or a linking function). Our scientific ignorance implies that the measurement of pain is not metrical but ordinal. The metric nature of the response format does not imply that the psychological quantity is measuread metrically.

2. The discrete case

Coming back to the mental calculus item, what function links the mental ability (domain) to the codomain {incorrect, correct}? This time, the codomain is a discrete set. The rationale is that a correct response indicates a higher level of abiilty. The sole way of specifying the measurement function of this item is, again, to invoke an increasing function. We want

x1 > x2 => f(x1) ≥ f(x2),

where x1, x2 denote amounts of ability and f denotes the function that determines the corresponding responses. The operator “≥” is mandatory because the number of possible responses is smaller than the number of possible amounts of ability. The function is increasing, but not strictly increasing.

The representative curve of the function is a staircase comprising two steps, which are separated by a threshold of unknown value. The graphic below illustrates this step function.

Paliers

Consequently, the item responses do not denote amounts of ability, but intervals of amounts of ability–the responses 0 and 1 denote the intervals [0, A[ and [A, max], respectively. This is why the 0/1 numerical encoding of the responses may be misleading: these numbers are not amounts but ordinal numbers. Addition, subtraction, multiplication and division are not defined on these numbers. It would be scientifically suitable to encode the responses with letters to keep in mind that they have an ordinal meaning with respect to the quantity to be measured.

In current practice, one counts the number of correct responses. However, the number of correct responses does not measure the ability, it counts only the number of conventional units of value. In this perspective, scores are more akin to prices than to measurements. The issue of how the scores (countings) could measure the ability remains untouched.

1b. A Definition of Measurement

Definition. If observations (including responses to test items) measure a given amount of a given quantity, then their variation depends on the variation of the quantity amount, in such a way that it is possible to deduce from them that the quantity amount has increased or decreased.

Remark 1. If one admits that the variability of observations depends on other factors and if one ignores the extent to which these factors determine the observed variation, one can deduce from the observations neither an increase nor a decrease of the quantity amount, because one cannot exclude that this variation results from undesired perturbations when the quantity amount did not change. This is the fatal flaw of the psychometric approach to psychological measurement.

Remark 2. The development of measurement instruments consists, among other things, in limiting within known boundaries the effect of the disturbing factors on the indicators that are used to deduce the variations of the quantity amount to be measured.

Remark 3. The development of measurement instruments requires the experimental manipulability of the quantity amount. For example, to study the disturbing variations of a response device, one has to be sure that the quantity amount does not vary (or varies negligibly) while one observes the behavior of the response device. To study the sensitivity of the response device to the variations of the quantity amount, one has to be able to increase or decrease more and more finely the quantity amount to be measured.

Remark 4. There is nothing like this in the realm of psychometric scoring techniques: one does not know how to manipulate the amount of intelligence nor the amount of anxiety for example, like one manipulates the temperature amount of water in the cooking pot by increasing the flow of gas. But this statement deserves contradiction… Who would like to refute this argument?

Remark 5. In psychology, tests or questionnaires are called measurement instruments. This linguistic custom is misleading because if one measured some quantity amounts with tests or questionnaires, the reason would be that the respondent were the measurement instrument, as she, not the test, produces the responses. Consequently, psychologists who are scientifically responsible for their practices should stop naming tests and questionnaires “measurement instruments”. If they do not stop, they contribute to propaganda that hawks the false idea that tests enable one to measure psychological quantities. Such propaganda demonstrates to informed audience that either they have no clear idea of what measurement is, or that they do not reject its deceptive character despite the evidence.

Remark 6. The definition above does not suffice to define metric measurement usually performed by measurement instruments. The definition is suitable for qualitative indicators, which enable ordinal measurement of the quantity amount to be measured. For example, if qualitative variations fulfill the definition, in such a way that one can deduce that the quantity amount increased, one ignores the amount of the increase: one knows only that it is strictly positive. Ordinal measurement allows one to speak the language of “more or less”, not the language of  “how much”. As metric measurement supposes ordinal measurement, metric measurement is fasified if ordinal measurement is falsified.

Remark 7. As far as one describes in a given language how quantities like intelligence or anxiety manifest themselves, this language is not of the “more or less” sort. Most of observed variations do not match the “more than” nor the “less than” relationships. The scientific error of psychologists who believe in quantities like anxiety or intelligence lies in their refusal to admit that the phenomena (observables) they are studying are primarily qualitative. Instead of respecting their qualitative form, they disguise them as numbers (or scores), “counting their chickens before they are hatched”: they behave as if one could speak scientifically of anyone’s intelligence or anxiety in terms of more or less, with no problem of authenticity. But does the evidence, as exhibited in our descriptives frames, teach us that the language of “more or less” is suitable to genuinely speak of anyone’s intelligence or anxiety manifestation?

Conclusion. Either intelligence (or anxiety, or any psychological quantity) can be measured with test responses, in which case an ordering should emerge from the observations, or one cannot measure intelligence (or anxiety, or any psychological quantity) with test responses.