Archives par étiquette : falsification

Bernard d’Espagnat sur la méthode scientifique

un seul contrexemple, dans un domaine précis de faits, suffit à ruiner une hypothèse générale s’il est fermement assuré et si vraiment il prend l’hypothèse en flagrant délit de prédiction fausse. Telle est l’une des plus grandes vertus de la méthode scientifique. (p. 4)

d’Espagnat, B. (1979). A la recherche du réel. Le regard d’un physicien. Paris : Bordas.

Willard Quine sur la prédiction

La prédiction est … l’anticipation conjecturale de données sensibles ultérieures venant confirmer une conclusion déjà tirée. Lorsqu’une prédiction est infirmée, ce que nous avons, c’est une stimulation sensorielle divergente et troublante, qui tend à inhiber cette conclusion passée déjà faite, et ainsi affaiblit les conditionnements de phrase à phrase qui conduisaient à cette prédiction. C’est ainsi que les théories dépérissent lorsque les prédictions faillissent.

Dans un cas extrême, la théorie peut consister en des connexions si fermement conditionnées entre phrases qu’elles résistent à l’échec d’une ou de deux prédictions. Nous nous trouvons excuser la faillite de nos prédictions comme le résultat d’une méprise dans l’observation, ou comme le résultat d’une interférence inexpliquée. Ainsi, dans un cas extrême, c’est la queue qui remue le chien. (p. 48)

Quine, W. V. A. (1977). Le mot et la chose. Paris : Flammarion. (Original publié en 1960)

Voir aussi Popper (1934/1973).

5b. The probability to pass the item

Psychometric item response models rest on the notion of the probability to pass the item. The present note investigates this notion from the epistemological perspective by contrast to the usual psychometric (i.e., statistical) perspective. Taking an epistemological perspective consists in asking (i) how to do to obtain some knowledge based on the probability notion, and (ii) whether this knowledge is falsifiable. The note concludes that an item response model offers no falsifiable knowledge about the quantitative differences the model invokes. If item responses were (ordinal) measurements, probabilistic item response models would be unnecessary. And if one is aware of the fact that these models are not measurement models, their usefulness remains ambiguous and should be detailed (Vautier, Veldhuis, Lacot, & Matton, 2012; Ziegler & Vautier, 2014). I would appreciate criticisms of my analysis.

1. The truth value of the statement “the probability that Paul passes this item now is 0.8”

How to know whether this statement is true or false? Let us consider any value p from ]0, 1[; the statement “the probability that Paul passes this item at this moment is p” is unfalsifiable because it entails “Paul will fail or pass”, which is tautological. Consequently, the answer to the question is: I don’t know (cf. Vautier, 2012).

If one assigns the values 0 or 1 to p, then at least one of the two statements is false. If Paul passes the item while p = 0 the statement is false; the same if Paul fails the item while p = 1.

Not so simple? Let us try again and consider the statement “the probability that Paul passes this item at this moment is 10-20”. Minuscule probability, which indicates that the possibility of passing is exceedingly small and that, as would say a friend whose psychometric scholarship is vast, one may reasonnably believe that Paul will fail the item. In other words, it would be surprising that Paul passes the item. And one would not bet that Paul will pass the item if one trusts those who claim such a probability. But… there are a lot of players in the gambling market, despite the games of chance are made in such a way that the probability to win is minuscule. The point is not scientific but philosophical: given that one ignores what governs Paul’s success, everyone is free to make his own divination.

Let us move backward to the premise. How to do to know the probability’s value? By deduction, but starting from what premises? Help, mister Valéry! By the use of relevant empirical knowledge? Only frequencies can be known, which deserves further elabotation.

2. Heads or tails, and the Binomial distribution: its works… more or less

“The probability of tails when I will flip the coin is 0.1”. Reading this satement literally, one has no available empirical knowledge since the coin has not been tossed. In other terms, one can only state ignorance; the surplus meaning of the probabilistic statement pertains not on the coin’s future behaviour but on the intention of the person who makes the probability statement (for example, “I would not bet on tails, so follow my example”).

Taking an empiricist point of view, one can invoke a reference class, that is, a set of distinct draws of the same coin, of which one postulates that they obey the same probability. Suppose the coin has been tossed n = 40 times, and one knows k = the number of tails. Can the data be used to measure the probability or to test its value?

Let us begin with the statistical test. If the number k of tails is high, one will be tempted to question this probability’s value (p = 0,1) since tails is by hypothesis very unlikely. But one should be aware of the fact that this feeling of doubt or surprise is logically invalid. The probability p = 0,1 prevents nothing: one may observe 0 tails, 1 tails, 2 tails, etc. until 40 tails in the series of the 40 draws. The Binomial distribution B(40, 0.1) indicates that the probability of observing 40 tails for example is 10-40, a very small but non-null number.

Here is the pragmatics the of null hypothesis testing in statistics: one chooses a type 1 error value (i.e., the risk of rejecting the hypothesis while it is true) of 0.05 for example, which corresponds to at least seven tails. If the series exhibits at least seven tails, the hypothesis p = 0.1 will be rejected. Warning: in this approach, rejection is not falsification because the hypothesis p = 0.1 is unfalsifiable: its consequences on the series of 40 draws prevent no logically possible events.

To sum up: the statement “the probability of tails when I will toss the coin is 0.1” is not statistically testable because the reference class of this probability contains zero element before the draw, only one element once the coin has been tossed. The number 0.1 can be used as an index (and not a measurement) of the trust one can have in the divination “tails”, but, like promises in politics, the divination commits only its believers.

Using a reference class of size n, one can test statistically the probability’s value by counting the relevant events in the series of the n draws, once a rejection policy has been adopted—but it is logically invalid since any number of tails, from 0 to n, is compatible with the hypothesis. Thus, if the divination “tails” does not succeed often enough, one has a conventional means to reject the expertise of those who stated the probability—which has few practical incidence when one considers respondents’ item responses because the experts in probability are not here; psychometricians are smart enough not to risk themselves in practical settings (see Rasch’s remark): they let scoring models’ users… use the scores.

Now let us consider the former approach, where one wants to measure the probability p by using the Binomial distribution B(40, p) and k. One refers to the probability Cnkpk(1 – p)nk of k hits in a series of n draws (see on the Internet any article on the Binomial distribution for details on the formula) and one seeks the value p that maximizes this probability. But there is a problem: if one manages to observe a new k, say k’, one can find another value and hence another measurement of p by maximizing Cnk’pk’(1 – p)nk’. Furthermore, one has to bound p by accumulating observations, instead of determining the exact value from a unique k. The issue arises whether the interval can be more accurate than ]0, 1[.

Let us reason by the limiting case. If the approximation interval could be restricted, some intervals bounded to the left by 0 or to the right by 1 would be excluded; but the probability value p that maximizes Cnkpk(1 – p)nk when k = 0 is p = 0, and the probability value p that maximizes Cnkpk(1 – p)nk when k = 40 is p = 1. As any probability lying in ]0, 1[ is compatible with k = 0 or k = n, one cannot exclude that the estimation yields the values 0 or 1. As the possibility of a counter-example precludes these extreme values, it follows that the probability that is maximized varies in ]0, 1[, depending on k. Consequently, one ignores how to measure the probability p for strictly logical reasons (see also the third section 3 of the note #4). Could anyone object to this argument?

Anyway, to estimate a probability by using the maximum likelihood requires the availability of a big-sized reference class, which stumbles over a second serious objection.

3. Passing or failling the item, and the Binomial distribution: it does not work

Let us go back to the field of scientific psychology: what reference class is available when one speaks of the probability that Paul passes the item now? It is the empty set as long as Paul has not treated the item, a singleton once he treated it. If, by a thinking experiment, one asks Paul to treat the item 40 times in order to use the number of hits to obtain a totally inaccurate measurement of his probability to pass this item at any moment, one realizes that there is a theoretical, and redhibitory impossibility: how to assume that the probability that Paul passes the item at the first trial is the same as the probability that he passes the same item at the nth trial? Paul is learning—i.e., he changes with experience. This argument seems to me sufficient to conclude that in psychology of item responses, one cannot use the notion of a reference class as an empirical basis for a probabilistic theorization of the response of anyone to any item.

4. The psychometric attempt

The preceding discussion seems not very relevant to psychometricians because they are essentially interested in the problem of how to assign a number to a m-tuple of responses. The notion of probability plays no theoretical role but an instrumental or computational role. But this role takes a meta-theoretical function: one is scoring, hence comparability is warranted.

The main idea of an item response model consists in replacing the measurement function, which models the item response with probabilities 0 or 1, by a psychometric function, which models the probability of the item response, with the assumption that the probability varies in ]0, 1[. To give an idea of what is at stake, I will refer to the Rasch model and built on Mark H. Moulton’s Rasch Estimation Demonstration Spreadsheet. As my purpose is not technical but epistemological, I will not draw the reader into the maze of the computations but rather into the analysis of the scientific meaning of the results. The objective is to understand that probabilization enables one to find out numerical values by successive trials, in such a way that these values provide necessarily, or converge toward the best possible solution. The question is: how to define the best solution? The best solution is that which minimizes a so-called residual quantity. The beauty of the art of statistical estimation rests on the existence of mathematical properties like the uniqueness of the solution that minimizes the residual. This uniqueness is a criterion for the social acceptability of the best scoring since one wants to score.

The starting point of the estimation process is a list of m-tuples as illustrated in Moulton’s spreadsheet. It can be seen that the 10-tuples are not simply ordered, which means that no measurement function exists (cf. note #3). Nevertheless, one wants to assign a numerical value to the items’ thresholds and to the 10-tuples, while admitting random ordinal defects. The random factor is modeled by the formula

Pr(Xsi = 1) = exp(βsδi)/[1 + exp(βsδi)],

where Xsi is a random, binary variable, the reference class of which is the virtual population of trials by the person s treating the item i, βs is the value to be assigned to s, and δi is the threshold of i (in the set of the real numbers instead of in [0, max]). This formula is equivalent to the logit

ln[Pr(Xsi = 1)/(1 – Pr(Xsi = 1)] = βsδi,

that defines the difference between the value of s and the item’s threshold.

This theoretical framework is nearly the same as the measurement framework, but the domain of the quantity to be estimated/measured is the set of the real numbers. However, in contrast to the scientific approach that recognizes that the quantity may not be measurable by the m-tuples if the measurement function is false, the psychometric approach assumes measurability by supplementing the theoretical framework with a probabilistic framework, the added value of which is computational, while recognizing that this framework is false (see for example Embretson and Reise’s remark—this is not redhibitory, it suffices that probabilities are useful to the scoring purpose).

Let us follow Moulton. The 10-tuples allow one to compute the proportion of hits for each of the nine respondents, and the proportion of incorrect responses for each of the 10 items, and the proportions are transformed into logits (the items’ logits being centered). The key of the estimation process  is the definition of the residual quantity of each cell in the contingency table (9 × 10). The respondents’ logits and the items’ centered logits are used as estimates of the βss and δis, which allows to estimate the probabilities to pass each item for each respondent (the probabilities are the mathematical expectations of the Xsis). The residual is the difference between the observed value (1 for success) and the expected value that has been computed.

Remark. The expectation of each Xsi is defined only if the variable’s values are treated as additive numbers. But 0 and 1 are just practical codes for “incorrect” and “correct”. The variable Xsi is not a numerical random variable; at best, it is a qualitative random variable if one admits the existence of the probability distribution that is associated with the observed response. The variable Xsi has no mathematical expectation.

Then one has to adjust the estimated logits in such a way that the residuals will be minimized, and so on until the gains become negligible. Indeed, this is great art and the algorithmicians of statistical optimisation could be admired. Finally, one obtains 10 values that order the respondents on a scale with nine rungs that have numerical values.

But the beauty of the picture should not mask this initial fact: the probability that any respondent amongst the 10 respondents pass any item amongst the nine items is a value in ]0, 1[. Even if, for pragmatic reasons, one accepts the unfalsifiability of the statements that can be derived, this probability is not statistically testable because its reference class is a singleton if the item response is known, an empty set if it is ignored.

The psychometric estimation gives the best possible values to the observed 10-tuples, that is, the best hierarchy, along with the socio-technical innovation that consists in making the experts of the optimization algorithm the sole persons who know to define exactly what is the best. The Rasch model, and more generally the psychometric item response models, are sophisticated numerical aggregation methods of partially ordered data, not measurement methods. Their development is possible just because the invoked quantities are not measurable.

22a. La probabilité de réussir l’item

Les modèles psychométriques de réponse à l’item reposent sur la notion de probabilité de réussir un item. Cet article explore cette notion dans une perspective épistémologique plutôt que psychométrique (c’est-à-dire statistique). Adopter une perspective épistémologique consiste ici à se demander (i) comment on fait pour savoir quelque chose à partir de la notion de probabilité et (ii) si ce savoir est falsifiable. La conclusion de l’article est qu’un modèle de réponse à l’item (MRI) ne fournit pas un savoir falsifiable sur les différences quantitatives invoquées par le modèle. Si les réponses aux items étaient des mesures (ordinales), les modèles probabilistes de réponse à l’item seraient superflus. Et si on est au clair avec le fait que ces modèles ne sont pas des modèles de mesurage, leur utilité demeure ambigüe et doit être précisée (Vautier, Veldhuis, Lacot, & Matton, 2012). Je remercie par avance chaleureusement tous les commentateurs férus de psychométrie, statistique ou autres probabilités qui voudraient bien me critiquer.

1. La vérité de la proposition « la probabilité que Paul réussisse cet item à ce moment vaut 0,8 »

Comment fait-on pour savoir si cette proposition est vraie ou fausse ? Prenons n’importe quelle valeur p dans ]0, 1[, la phrase « la probabilité que Paul réussisse cet item à ce moment vaut p » est infalsifiable parce qu’elle implique “Paul va échouer ou réussir”, ce qui est une tautologie. Donc la réponse à la question est : je ne sais pas (cf. Vautier, 2012).

Si on donne les valeurs 0 ou 1 à p, alors au moins une des deux phrases est fausse. Si Paul réussit alors que p = 0 la phrase est fausse ; idem si Paul échoue alors que p = 1.

Pas si simple ? Essayons encore et considérons la phrase « la probabilité que Paul réussisse cet item à ce moment vaut 10-20 ». Minuscule probabilité, qui indique que la possibilité de réussite est infime et qu’on peut, comme dirait un ami dont l’érudition psychométrique est immense, raisonnablement croire que Paul va échouer. En d’autres termes, on serait très surpris que Paul réussisse. Et donc on ne parierait pas sur la réussite de Paul si on fait confiance à celui qui indique une telle probabilité. Dans cette histoire, il s’agit de la confiance qu’on a dans celui qui énonce la probabilité.

Remontons à la prémisse. Comment fait-on pour savoir la valeur de la probabilité ? Par déduction mais alors à partir de quelles prémisses ? Au secours Valéry ! Par la connaissance empirique pertinente ? On ne peut que connaître des fréquences, ce qu’il faut développer.

2. Pile ou face et la loi binomiale : ça « marchotte »

« La probabilité que la pièce de monnaie qui se trouve devant moi tombe sur pile quand je vais la lancer vaut 0,1 ». On ne dispose d’aucune connaissance empirique puisque le lancer n’a pas eu lieu, ni de connaissance physique sur le centre de gravité de la pièce. Autrement dit, on dit qu’on ne sait pas et le surplus de sens est une information non pas sur la pièce de monnaie mais sur l’intention de celui qui parle (du registre « je ne parierais pas sur pile, faites comme moi »).

On peut adopter un point de vue empiriste, en faisant appel à une classe de référence, ou encore, c’est la même chose, une population statistique, c’est-à-dire un ensemble de lancers différents de la même pièce de monnaie, dont on postule qu’ils sont régis par la même probabilité. Supposons que la pièce ait été lancée n = 40 fois et qu’on connaisse k = le nombre de fois où elle est tombée sur pile. On peut utiliser les données pour estimer ou pour tester la valeur de la probabilité.

Commençons par le test statistique. Si le nombre k de piles est grand, on sera enclin à douter de la valeur de cette probabilité, puisque pile est par hypothèse très peu probable (p = 0,1). Mais il faut bien voir que ce sentiment de doute ou d’étonnement est logiquement invalide. La probabilité p = 0,1 n’exclut aucun résultat : on peut observer 0 pile, 1 pile, 2 piles, etc. jusqu’à 40 piles dans la série des 40 lancers. La loi binomiale B(40 ; 0,1) indique que la probabilité d’observer 40 fois pile par exemple vaut 10-40, ce qui est très petit mais pas nul.

Voici donc la pragmatique du test de l’hypothèse nulle en statistique : on se donne un risque d’erreur de type 1 (i.e., rejeter l’hypothèse alors qu’elle est vraie) de 0,05 par exemple, ce qui correspond à au moins 7 piles. Si la série exhibe au moins 7 piles, on rejettera l’hypothèse p = 0,1. Attention encore : dans cette approche, le rejet n’est pas une falsification parce que l’hypothèse p = 0,1 est infalsifiable : ses conséquences sur une série de 40 lancers n’excluent aucun événement logiquement possible.

Récapitulons. On ne peut pas tester statistiquement la phrase « la probabilité que la pièce de monnaie que je regarde tombe sur pile quand je vais la lancer vaut 0,1 » parce que la classe de référence de cette probabilité contient zéro élément avant le lancer, un seul élément une fois qu’on a le résultat du lancer. On peut utiliser le chiffre 0,1 comme un indice (et pas une mesure) de la confiance qu’on peut avoir dans la divination “la pièce va tomber sur face”, mais, comme pour les promesses en politique, croire en la divination n’engage que ceux qui croient. Les statisticiens savent que les probabilités n’ont de sens que lorsqu’on se réfère à une classe de référence définie par un très grand nombre d’expériences aléatoires, par opposition à une expérience unique (déjà advenue ou qui va advenir).

Si on se donne une classe de référence dont le cardinal (la taille) est n, on peut tester statistiquement la probabilité à partir du comptage des événements pertinents dans la série de n essais, en se donnant une politique de rejet de l’hypothèse qui est logiquement invalide puisque tout nombre de “succès”, de 0 à n, est compatible avec l’hypothèse. Ainsi, si les divinations “face” réussissent trop peu souvent, on a un moyen conventionnel de rejeter l’expertise de celui qui fournit la probabilité — ce qui a peu d’incidence pratique parce que dans la vie concrète où on appréhende les réponses à l’item de quelqu’un, l’expert en probabilités n’est pas là — il est expert d’un grand nombre d’expériences aléatoires qui définissent une classe de référence de très grande taille — ; en tant que statisticiens spécialisés en psychologie, les psychométriciens sont assez malins pour ne pas se risquer dans des situations d’utilisation individuelles (voir la remarque de G. Rasch) : ils laissent les utilisateurs de modèles de scorage… utiliser les scores.

Il reste l’autre approche, où on veut estimer la probabilité p à partir de la loi binomiale B(40, p) et de k. On se réfère à la probabilité Cnkpk(1 – p)nk de k “succès” dans une série de n essais (voir sur Internet tout article sur la loi binomiale pour les détails de la formule) et on cherche la valeur p qui maximise cette probabilité. Mais il y a un problème : si on se donne les moyens d’observer un nouveau k, disons un k’, on peut trouver une autre valeur et donc une autre estimation de p par maximisation de Cnk’pk’(1 – p)nk’. On est alors conduit à encadrer p par l’accumulation d’observations, au lieu de déterminer sa valeur exacte à partir d’un seul k. La question est de savoir si cet encadrement peut être plus précis que ]0, 1[.

Raisonnons par l’absurde. Si on pouvait réduire l’approximation, on exclurait certains intervalles de valeurs bornés à gauche par 0 ou bornés à droite par 1 ; or la valeur de la probabilité p qui maximise Cnkpk(1 – p)nk pour k = 0 est p = 0 et la valeur de la probabilité p qui maximise Cnkpk(1 – p)nk pour k = n est p = 1. Comme toute probabilité dans ]0, 1[ est compatible avec k = 0 et k = n, on ne peut exclure que l’estimation donne les probabilités 0 ou 1. Comme la possibilité d’un contre-exemple exclut ces valeurs extrêmes, il reste que la probabilité qu’on maximise varie dans ]0, 1[. Par conséquent, on ne sait pas estimer la probabilité p avec une précision plus fine que ]0, 1[ pour des raisons purement logiques (voir aussi la section 3 de l’article 16a). Quelqu’un pourrait-il offrir une objection à cet argument ?

Quoiqu’il en soit, l’estimation d’une probabilité par maximisation de la vraisemblance nécessite qu’on dispose d’une classe de référence de grande taille et on bute sur une seconde objection sérieuse.

3. Réussir ou échouer l’item et la loi binomiale : ça ne marche pas

Revenons à la réalité de la psychologie scientifique : quelle est la classe de référence dont on dispose quand on parle de la probabilité que Paul réussisse cet item à ce moment ? C’est l’ensemble vide tant que Paul n’a pas traité l’item, un singleton quand il l’a traité. Si on imagine qu’on demande à Paul de traiter l’item 40 fois pour utiliser la fréquence des réussites comme mesure totalement imprécise de sa probabilité de réussir cet item à n’importe quel moment, on se rend compte d’une impossibilité théorique rédhibitoire : comment soutenir que la probabilité que Paul réussite l’item au premier essai soit la même que la probabilité qu’il réussisse le même item au nième essai ? Paul apprend — i.e., il change avec l’expérience. Cet argument me semble suffisant pour conclure qu’en psychologie de la réponse à l’item, on ne peut pas utiliser la notion de classe de référence (ou, ce qui est équivalent, de schéma de Bernouilli d’ordre n) comme fondement empirique de théorisation probabiliste de la réponse de quiconque à un item quelconque.

4. La tentative psychométrique

La discussion qui précède intéresse peu les psychométriciens parce qu’ils s’intéressent essentiellement à résoudre le problème de l’assignation d’un nombre à un m-uplet de réponses (cf. l’article 10a). La notion de probabilité n’a pas de rôle théorique, mais un rôle instrumental ou encore calculatoire. Mais ce rôle a une fonction méta-théorique : on score, donc on garantit l’évaluabilité (cf. les articles 10a, 13a, et aussi 19a).

L’idée essentielle d’un modèle de réponse à l’item, consiste à remplacer la fonction de mesurage, qui modélise la réponse à l’item avec les probabilités 0 ou 1, par une fonction psychométrique, qui modélise la probabilité de la réponse à l’item, celle-ci devant nécessairement se trouver dans ]0, 1[. Pour donner une idée précise de ce qui est en jeu, je vais me référer au modèle de Rasch et m’appuyer sur la Rasch Estimation Demonstration Spreadsheet de Mark H. Moulton. Le propos n’étant pas technique mais épistémologique, je n’entraînerai pas le lecteur dans les méandres des calculs mais plutôt dans l’analyse de la signification scientifique des résultats. Il s’agit de comprendre que la probabilisation permet de trouver des valeurs numériques par tâtonnements successifs de telle manière que ces valeurs fournissent nécessairement, on dit aussi convergent vers, la meilleure solution possible. La question est : comment définir le meilleur ? La meilleure solution est celle qui minimise une quantité qu’on appelle résiduelle. La beauté de l’art de l’estimation statistique tient à l’existence de propriétés mathématiques comme l’unicité de la solution qui minimise le résidu. Cette unicité constitue un critère d’acceptabilité sociale du meilleur scorage puisque scorer on veut.

Le point de départ de la démarche d’estimation est une liste de m-uplets dont Moulton donne un exemple. On constate que les 10-uplets ne sont pas simplement ordonnés, ce qui, répétons-le, signifie qu’il n’existe pas de fonction de mesurage (cf. l’article 11a et aussi l’article 13a). Mais on veut quand même donner une valeur numérique aux seuils des items et aux personnes qui ont fourni les 10-uplets, en admettant des irrégularités ordinales aléatoires. Le facteur aléatoire est modélisé par la formule

Pr(Xsi = 1) = exp(βsδi)/[1 + exp(βsδi)],

Xsi est une variable aléatoire binaire dont la classe de référence est la population virtuelle des essais du sujet s à l’item i, βs est la valeur qu’on veut attribuer à s et δi est le seuil de i (dans l’ensemble des réels et non pas dans [0, max]). Cette formule est équivalente au logit

ln[Pr(Xsi = 1)/(1 – Pr(Xsi = 1)] = βsδi,

qui définit l’écart entre la valeur de s et le seuil de l’item.

Ce cadre théorique est le même que le cadre théorique du mesurage, à la nuance près que le domaine de la quantité à estimer/mesurer est étendu à l’ensemble des nombres réels. Mais, contrairement à la démarche scientifique qui prend le risque d’affirmer la non-mesurabilité de la grandeur par les m-uplets si la théorie est fausse, la démarche psychométrique affirme la mesurabilité en dotant le cadre théorique d’un cadre probabiliste dont la valeur ajoutée est calculatoire, tout en reconnaissant que ce cadre est faux (voir par exemple la remarque d’Embretson et Reise — ce n’est pas rédhibitoire, il suffit que les probabilités soient utiles).

Suivons Moulton. Les 10-uplets permettent le calcul de la proportion de réussite des neuf sujets ainsi que la proportion de réponses incorrectes des 10 items, qui sont exprimées en logits (les logits des items étant ensuite centrés). La clé de la méthode d’estimation présentée par Moulton tient à la définition de la quantité résiduelle de chaque cellule de la table de contingence (9 × 10). Les logits des sujets et les logits centrés des items sont utilisés comme estimations des valeurs βs et δi ce qui permet d’estimer les probabilités de réussite de chaque item par chaque sujet (probabilité qui est équivalente à l’espérance de chaque Xsi). Le résidu est la différence entre la valeur observée (1 pour réussite) et la valeur espérée qu’on vient de calculer.

Remarque. L’espérance de chaque Xsi n’est définie que si les valeurs de la variable sont traitées comme des valeurs numériques. Mais 0 et 1 ne sont que des codes pratiques pour “échec” et “réussite”. La variable Xsi n’est pas une variable aléatoire numérique, c’est au mieux une variable aléatoire qualitative si on accepte l’existence de la loi de probabilité dont on la dote. Elle n’a donc pas d’espérance mathématique.

Il ne reste plus qu’à corriger les logits des sujet et les logits centrés des items de manière à ce que les résidus soient minimisés, et ainsi de suite jusqu’à ce que les corrections deviennent négligeables. Assurément, voici du grand art et on ne peut qu’admirer les algorithmiciens de l’optimisation statistique. Finalement, on dispose de 10 valeurs qui ordonnent les sujets sur une échelle numérique parsemée de neufs “barreaux” dont on connaît aussi les seuils.

Mais la beauté du tableau ne doit pas nous faire oublier ce fait initial : la probabilité qu’un sujet quelconque parmi les 10 sujets réussisse un item quelconque parmi les items qu’on connaît est une valeur dans ]0, 1[. Même si, pour des raisons disons pragmatiques, on accepte la non-falsifiabilité des propositions qu’on peut en tirer, cette probabilité n’est pas testable statistiquement parce que sa classe de référence est un singleton si on connaît la réponse à l’item, un ensemble vide si on l’ignore.

L’estimation psychométrique donne la meilleure valeur possible aux 10-uplets observés, c’est-à-dire les hiérarchise au mieux, avec l’innovation socio-technique qui consiste en ce que seuls les experts de l’algorithme d’optimisation savent définir exactement de quoi on parle quand on parle du meilleur. Le modèle de Rasch, et d’une manière générale les modèles psychométriques de réponse à l’item, sont de savantes méthodes d’agrégation numérique ou encore de hiérarchisation de données partiellement ordonnées, pas des méthodes de mesurage. Leur développement est possible précisément parce que les grandeurs qu’on invoque ne sont pas mesurables.

Karl R. Popper on scientific methodology

Every scientific theory implies that under certain conditions, certain things will happen. Every test consists in an attempt to realize these conditions, and to find out whether we can obtain a counter-example even if these conditions are realized; for example, by varying other conditions which are not mentioned in the theory. (This shows, by the way, that a ceteris paribus clause, like `all things being equal’, must not be added to a theory since it would destroy its testability.) (p. 288)

Popper, K. R. (1992). Realism and the aim of science. New York: Routledge.

Imre Lakatos on falsification

Sophisticated methodological falsificationism offers new standards for intellectual honesty. Justificationist honesty demanded the acceptance of only what was proven and the rejection of everyting unproven. Neojustificationist honesty demanded the specification of the probability of any hypothesis in the light of the available empirical evidence. The honesty of naive falsificationism demanded the testing of the falsifiable and the rejection of the unfalsifiable and the falsified. Finally, the honesty of sohisticated falsificationism demanded that one should try to look at things from different points of view, to put forward new theories which anticipate novel facts, and to reject theories which have been superseded by more powerful ones. (pp. 37-38)

Lakatos, I. (1978). Falsification and the methodology of scientific research programmes. In J. Worrall & G. Currie (Eds.), Imre Lakatos: Philosopical papers, Vol. 1: The methodology of scientific research programmes (pp. 8-101). Cambridge: Cambridge University Press.