Archives de catégorie : b. Projet de précis

34a. Rédiger en psychologie

Dans ce billet, je consigne des citations de copies. Les étudiants ont besoin d’être formés à l’expression écrite et nous, enseignants de psychologie, devons en tirer les conséquences. Il faut les faire écrire, les lire, les critiquer, les corriger, les faire écrire, les critiquer, etc., jusqu’à ce qu’il ne reste plus rien à corriger. L’expression d’une réflexion personnelle argumentée, documentée, responsable, est une partie constituante de notre capacité à perpétuer la démocratie et à contribuer à son développement — le reste, le kaléidoscope des doctrines psychologiques, est secondaire.

En réponse à la question “Un test psychologique est-il un instrument de mesure ? Justifiez” (2015, L2) :

  1. Oui, un test psychologique est un instrument de mesure parce qu’il peut mesurer différentes choses telles que l’intelligence avec le QI. [Justifier, c’est définir ce qu’est un instrument de mesure et montrer qu’un test psychologique satisfait ou pas la définition.]
  2. Oui, il peut mesurer par exemple le développement cognitif d’un enfant. Piaget en 1942 crée les tests de concervations pour cet effet. [Le développement cognitif n’est pas une grandeur mais un processus.]
  3. Un test psychologique est un instrument de mesure car une fois codé, les réponses pourrons être calculés. [Mesurer et calculer sont des synonymes (je passe sur la grammaire) ?]
  4. Non un test psychologique n’est pas un instrument de mesure car ce sont des personnes qui répondent au test donc ça serait eux, leurs réponses au test qui est notre “instrument de mesure”. [Ici, il faut avoir une mentalité d’accoucheur : oui vous pouvez le dire, mais il y a du travail.]
  5. Oui, car un test nous permet d’avoir des données quantitatives ou qualitatives que l’on peut mesurer grâce à des lois de mesures ou des échelles de mesures. Mesurer les résultats par la suite nous permet de discuter et comprendre les phénomènes psychologiques. [Défi : qui peut démêler cette pelote de mots ?]
  6. Non ce n’est pas un instrument de mesure car on ne peut pas le quantifier. [Certes, on ne peut pas quantifier un test psychologique. Quel est le complément d’objet direct du verbe quantifier ?]
  7. Oui c’est un instrument de mesure, il mesure des scores, c’est à dire une variable quantitative ; et non qualitative. [Quel est le complément d’objet direct du verbe mesurer ?]
  8. Le test psychologique est aussi appelé “instrument de test”. C’est donc un instrument de mesure. [La déduction est-elle valide ?]

En réponse à la question “Quelle est la définition du mesurage qui sous-tend qu’un score de QI mesure l’intelligence ?” (2015, L2) :

  1. Le mesurage permet d’avoir des résultat sur le score et peut etre situer dans une echelle. [Ici, il faut avoir une mentalité d’accoucheur : oui vous pouvez le dire, mais il y a du travail.]

En réponse à un sujet d’épistémologie (2015, M2R) :

  1. En sciences humaines, il est difficile de ne pas faire intervenir la subjectivité. Pour se rapprocher au plus près de “l’objet”, nous avons des solutions comme le travail conjoint. [Il faudrait au moins donner un exemple. Nébuleux.]
  2. La recherche en science humaine, notamment en psychologie consiste à expliquer des enchainements entre des phénomènes. [Je vous parie que vous ne pouvez pas trouver un seul exemple d’article de science humaine (sic) qui explique comment deux phénomènes s’enchaînent.]
  3. Ces buts [de recherche] ont permis que ce projet de recherche soit accepté par le directeur du mémoire. Son rôle est de s’assurer que la recherche est utile. De plus, le directeur de Recherche donne également les directives pour conduire cette recherche de façon conforme à son laboratoire. [Un exemple de soumission à l’autorité institutionnelle : ne pas objecter à une telle démonstration de soumission, c’est approuver.]
  4. … les théories qu’invoquent le chercheur pour rendre compte de fait ne peut être objectif. [Quand les problèmes grammaticaux attaquent le sens d’une phrase. Peut-on négliger ce type de problèmes de maniement de l’écrit lorsqu’il s’agit de délivrer des diplômes universitaires de niveau bac+5 ?]
  5. Il est nécessaire pour avoir une part d’objectivité, d’admettre qu’il est difficile de l’être totalement lorsque l’homme (avec toute sa complexité) étudie l’homme. [Ce qu’on appelle du blabla : ne pas refuser le blabla, c’est l’accepter comme norme du discours.]
  6. [cette théorie] permet d’obtenir deux type de resultats : soit quel processus le sujet à utilisé pour la décision, soit quels facteurs sont les plus plébicités. [Ce qu’on appelle du blabla : ne pas refuser le blabla, c’est l’accepter comme norme du discours.]

33a. Dessine-moi une fonction

Des étudiants ont proposé les graphiques suivants en réponse à la question d’examen : Tracez une fonction de mesurage possible pour les réponses à un item de névrosisme avec un format de réponse en 7 niveaux. Lequel est correct ? Cherchez les erreurs. Pour grossir l’affichage de chaque graphique, cliquez dessus.

Graphique 1Gr1
1.1. Quel est l’ensemble des réponses observables ?
1.2. Quand la quantité de névrosisme est égale à A1, quelle est la réponse observée ?
1.3. Quand la quantité de névrosisme est égale à max, quelle est la réponse observée ?
1.4. Quel est l’ensemble des seuils de la fonction ?

Graphique 2 Gr2
2.1. La fonction est-elle monotone ?
2.2. Dans quel ensemble prend-elle ses valeurs (ensemble d’arrivée) ?
2.3. Dans quel ensemble est-elle définie (ensemble de départ) ?

Graphique 3Gr43.1. Quelle est la réponse lorsque la quantité de névrosisme est supérieure à C ?

Graphique 4Gr5

4.1. Que signifient les valeurs sur l’axe des ordonnées ?
4.2. Quelle est la réponse lorsque la quantité de névrosisme se trouve entre la première et la deuxième graduation de l’axe des abscisses ?

Graphique 5Gr6

5.1. Quelle est la réponse lorsque la quantité de névrosisme est dans [0, A1[ ?
5.2. Combien de réponses sont possibles ?

Graphique 6Gr7

6.1. Quelle est la réponse lorsque la quantité de névrosisme vaut B ?
6.2. Paul a répondu 3 il y a trois mois et 3 aujourd’hui : cela implique-t-il que sa quantité de névrosisme est la même aujourd’hui qu’il y a trois mois ?
6.3. Marie a répondu 3 il y a trois mois et 4 aujourd’hui : cela implique-t-il que sa quantité de névrosisme aujourd’hui est plus grande que sa quantité de névrosisme il y a trois mois ?

 

32a. Comparabilité et incomparabilité de deux m-uplets

Voici quelques définitions utiles pour appréhender les conséquences de la description multivariée.

Soient x = (x1, x2, …, xm) = x1x2xm et y = (y1, y2, …, ym) = y1y2ym deux m-uplets. On pourrait utiliser les notations x et y à la place de x et y mais cela n’est pas absolument nécessaire.

Comparabilité. x et y sont comparables si

pour tout i = 1, 2, …, m, xiy — auquel cas x ≤ y –,
ou pour tout i = 1, 2, …, m, xi ≥ yi — auquel cas x ≥ y.

Incomparabilité. x et y sont incomparables, et on note x <> y, s’il existe i et j distincts dans {1, 2, …, m} tels que

xi < yi et xj > yj.

Exemples.

  1. 00 ≤ 00
  2. 01 <> 10
  3. 000 ≤ 001
  4. 100 <> 010
  5. 1000000 <> 0111111
  6. 12345 ≥ 01234
  7. zabd ≥ yaab (ordre alphabétique)
  8. ab <> ba (ordre alphabétique)
  9. jules <> cesar (ordre alphabétique).

Cite this article as: Stéphane Vautier, "32a. Comparabilité et incomparabilité de deux m-uplets", in Épistémologie de la psychologie, 16/12/2014, https://epistemo.hypotheses.org/2650.

31a. Réflexions préliminaires sur le mesurage en psychologie

Les concepts illustrés sont la comparabilité de deux m-uplets et la testabilité de l’hypothèse que les données contenues dans les m-uplets sont des mesures de la même quantité de grandeur.

Situation 1. Les thermomètres et la température

Vous séjournez dans un chalet de montagne. Vous y avez trouvé trois thermomètres et vous les laissez dehors sur la table de la terrasse. Notons les thermomètres I1, I2 et I3.

Détails techniques. On admet que votre lecture du niveau du liquide sur l’échelle de graduation des thermomètres est correcte dans la limite de ±0,5 graduation. Ainsi, si vous indiquez x graduations, cela signifie que le niveau du liquide se trouve sûrement dans l’intervalle ]x−0,5 ; x+0,5[ (cf. 7a).

Q1.1. À 14 heures, vos relevés sont (28, 26, 30). Quelle est la graduation (approximative) lue sur le thermomètre I2 ?

Q1.2. Le lendemain à la même heure, vos relevés sont (30, 24, 31). Constatez-vous quelque chose d’anormal ? Si oui comment expliquer cela (les thermomètres n’ont pas changé de place) ? Comment tester votre explication ?

Q1.3. Pouvez-vous déduire de ces données comment la température sur la terrasse de ce chalet a évolué ?

Situation 2. Les pèse-bébés et le bébé

Vous avez un bébé, un pèse-bébé, et une amie qui a un pèse-bébé. Les pèse-bébés sont des balances numériques qui indiquent le poids en grammes.

Q2.1. Il y a un mois, vous aviez pesé votre bébé chez vous et chez votre amie ; les observations étaient (3222, 3226). Aujourd’hui, vous avez pesé votre bébé chez vous et chez votre amie et vos observations sont (3741, 3026). Constatez-vous quelque chose d’anormal ? Si oui comment expliquer cela ? Comment tester votre explication ?

Q2.2. Vous n’avez aucune information sur ce bébé. Pouvez-déduire des données qu’il a pris ou qu’il a perdu du poids ?

Situation 3. Les hauts et les bas du stress de Julie

Soient les items “Avant un partiel, vous n’avez plus d’appétit” et “Durant la nuit, la veille d’un événement que vous avez organisé, vous vous réveillez environ 4 fois”, avec le format de réponse “1 = totalement en désaccord, 2 = en désaccord, 3 = d’accord, 4 = tout à fait d’accord”. Deux étudiantes ont demandé à Julie de s’auto-évaluer à deux reprises et ont observé les réponses suivantes (cf. leur rapport de TD) : (3, 4) lors de la première passation et (4, 3) lors de la seconde passation.

Q3.1. Les réponses observées nécessitent-elle de tenir compte d’une approximation liée au format de réponse, c’est-à-dire au langage descriptif qui permet d’appréhender le stress des gens ?

Q3.2. Le stress de Julie a-t-il changé d’expression de la première à la seconde passation ?

Q3.3. Le stress de Julie a-t-il augmenté ou a-t-il diminué ?

Q3.4. Que conclure de ces données ? (voir 9a).

Situation 4. Les scores d’Odile et Paul à deux tests d’intelligence

Le calcul des scores est fondé sur des règles qui s’appliquent à des données multivariées qualitatives. Le score annoncé est le score calculé arrondi à l’unité.

Q4.1. Le score calculé vaut 116,5 points. Quel est le score annoncé ?

Q4.2. Si le score annoncé vaut 117 points, est-il possible que le score calculé soit égal à 116,4 points ?

Q4.3. Le score annoncé est 117 points. Encadrez le score calculé.

Les scores d’Odile et Paul à deux tests d’intelligence sont (113, 123) pour Odile et (116, 115) pour Paul.

Q4.4. Quel est le score de Paul au premier test d’intelligence ? Quel est le score de Paul au second test d’intelligence ?

Q4.5. Qui d’Odile ou Paul est le plus intelligent ?

Q4.6. Quelles garanties exigeriez-vous pour croire que les scores qu’on obtient en faisant passer un test d’intelligence mesurent l’intelligence des personnes qui ont passé ce test ?

Pour aller plus loin : Validité concourante, trompe-l’œil métrologique.

 

 

30a. Mesurage fonctionnel : tester le modèle additif

Cet article présente le modèle additif du mesurage fonctionnel (functional measurement) proposé par Norman H. Anderson (e.g., 2001). Dans la perspective falsificationniste que nous adoptons, l’intérêt majeur de ce modèle de mesurage est qu’il est testable à l’échelle d’une personne.

1. Mesurer l’appréciation subjective d’une situation multi-critère

Le schéma ci-dessous (source) permet de visualiser le processus de mesurage. La grandeur mesurée, r sur le schéma, est une appréciation subjective (par exemple, l’acceptabilité de telle punition dans telle situation). Le mesurant de la grandeur r est la réponse R (par exemple, la distance qui sépare la marque de la personne de l’origine de l’échelle visuelle analogique qu’elle utilise).

450px-Information-integration.svg

La quantité de grandeur r est définie comme la somme des quantités sA, sB, …, sZ (intégration additive). Ces quantités sont des valeurs attribuées aux aspects (critères) SA, SB, …, SZ de la situation. La fonction de mesurage reliant R à r est une fonction affine positive :

R = a + br, b > 0, ou encore r = (R – a)/b.

Contrairement au mesurage d’une grandeur psychologique par une réponse multivariée qualitative, où la grandeur n’est pas analysée (cf. 11a), le mesurage fonctionnel de l’appréciation subjective repose sur la décomposition additive de la grandeur (appréciation) et sur une réponse quantitative univariée (R comme distance sur une échelle visuelle analogique).

2. Tester le modèle à l’échelle de la personne qui produit les appréciations

Tout repose sur la supposition selon laquelle l’appréciation r intègre additivement les valeurs données à un certain nombre de critères. Considérons une situation à deux critères dichotomiques SA et SB (SA = 0 ou 1, SB = 0 ou 1). Notons les valeurs correspondantes sA=0, sA=1, sB=0 et sB=1. On a donc :

  • rA=0 et B=0 = sA=0 + sB=0,
  • rA=0 et B=1 = sA=0 + sB=1,
  • rA=1 et B=0 = sA=1 + sB=0,
  • rA=1 et B=1 = sA=1 + sB=1.

En remplaçant dans l’équation de mesurage, on obtient :

  1. rA=0 et B=0 = sA=0 + sB=0 = (RA=0 et B=0 a)/b,
  2. rA=0 et B=1 = sA=0 + sB=1 = (RA=0 et B=1 a)/b,
  3. rA=1 et B=0 = sA=1 + sB=0 = (RA=1 et B=0 a)/b,
  4. rA=1 et B=1 = sA=1 + sB=1 = (RA=1 et B=1 a)/b.

En soustrayant (2) à (1), on obtient

sA=0 + sB=0 – (sA=0 + sB=1) = (RA=0 et B=0 a)/b – (RA=0 et B=1 a)/b,

c’est-à-dire

sB=0 – sB=1 = (RA=0 et B=0 – RA=0 et B=1)/b

d’où

b(sB=0 – sB=1) = RA=0 et B=0 – RA=0 et B=1.

En soustrayant (4) à (3), on obtient

b(sB=0 – sB=1) = RA=1 et B=0 – RA=1 et B=1,

d’où

RA=1 et B=0 – RA=1 et B=1 = RA=0 et B=0 – RA=0 et B=1.

Si le modèle est vrai, deux différences observables sont égales.

On obtient l’égalité de deux autres différences observables en soustrayant (3) à (1) et (4) à (2) :

RA=0 et B=0 – RA=1 et B=0 = RA=0 et B=1 – RA=1 et B=1.

 3. Négocier l’approximation

On demande à quelqu’un, à qui on a appris à distinguer les critères SA et SB, d’apprécier les quatre situations (en abrégé : 00, 01, 10, 11). On calcule les quatre différences et il faut alors juger : les égalités déduites de la théorie sont-elles obtenues ou pas ? Comme on ne dispose pas d’une mesure exacte des distances R, on peut se donner une approximation de ± 1 mm, c’est une question de convention (cf. 7a).

Avec cette convention, on accepte comme approximativement égales deux valeurs dont la différence est inférieure, en valeur absolue, à 2 mm, et comme clairement inégales deux valeurs dont la différence est supérieure, en valeur absolue, à 2 mm.

4. La stabilité des réponses

Supposons que le test soit réussi. Peut-on conclure que la personne produit ses appréciations pour cette situation toujours selon la même formule d’intégration additive ? Non. Il faut vérifier, par exemple, trois jours plus tard. Il est possible que ses appréciations changent, de telle sorte que l’additivité soit à nouveau corroborée, ou bien de telle sorte que l’additivité soit falsifiée. Immense est notre ignorance.

5. Comparabilité inter-individuelle

Supposons que les réponses de Paul et de Julie permettent de supposer qu’elles mesurent leurs appréciations selon le modèle additif. Supposons que lorsqu’ils apprécient la situation 00, leurs réponses soient 2 et 4 cm, respectivement. Peut-on en déduire que Paul a une appréciation plus petite que Julie de la situation ?

D’après la théorie, les personnes attribuent des valeurs aux critères. Mais la théorie est muette sur l’unité de valeur sur laquelle repose l’additivité. Rien ne dit que les unités de valeur utilisées par Paul et Julie pour évaluer les critères soient égales — d’un point de vue épistémologique, on peut se demander s’il existe même un critère d’égalité. Même en postulant l’égalité des unités de valeur, rien ne dit que les fonctions de mesurage qu’ils utilisent, une fois les valeurs additionnées, pour indiquer leurs appréciations sur l’échelle de réponse, soient identiques.

La plausibilité de l’additivité du modèle au niveau intra-individuel n’implique pas que les réponses (R) permettent des comparaisons théoriques inter-individuelles (r). Agréger les réponses de personnes différentes pour faire des inférences sur le processus de mesurage fonctionnel moyen suppose d’accepter que ce processus ne dépende pas des personnes (seules les valeurs données aux critères seraient spécifiques). Cette hypothèse est testable : elle implique que toute personne produise ses réponses selon un processus additif.

Référence

Anderson, N. H. (2001). Empirical direction in design and analysis. Mahwah, NJ: Lawrence Erlbaum Associates.

29a. Glossaire pour la méthodologie et l’épistémologie de la psychologie (inachevé)

Dans ce billet, je consigne des mots-clés pour l’enseignement de méthodologie et d’épistémologie appliquée en licence de psychologie. N’hésitez pas à envoyer des commentaires.

Approximation. Une mesure est nécessairement approximative. Mais il faut préciser sur quoi porte l’approximation : comment sont affectées la détermination empirique et la détermination théorique du phénomène ?

Binomiale (loi). Le b-a ba de l’inférence statistique ?

Cardinal. Le cardinal d’un ensemble est sa taille. Un étudiant de niveau L devrait savoir (i) répondre à la question “combien de m-uplets possibles avec une description m-variée du comportement étant donné un certain référentiel de description ?” (voir 20a), (ii) justifier que ce nombre est intéressant. Il l’est parce que, c’est du bon sens, si on veut avoir une chance de découvrir une loi empirique régissant les phénomènes qu’on sait ainsi décrire dans telle population d’unités d’observation, il faut échantillonner une quantité d’unités d’observation beaucoup plus grande que ce nombre (cf. 25a).

Description (objective). Pour poser le problème de l’explication d’un phénomène particulier, il faut au préalable décrire ce phénomène de manière objective. L’objectivité consiste dans l’interchangeabilité des observateurs (cf. 24a).

Distribution conditionnelle. L’observation objective d’une masse d’unités d’observation dans un référentiel de description bivarié (VI, VD) permet l’étude de la distribution de la VD conditionnellement aux valeurs de la VI. On peut ainsi tester statistiquement l’indépendance de la VD et de la VI (voir Popper, 1992).

Épistémologie. Réflexion sur ce qui permet de différencier connaissance scientifique et connaissance non scientifique. Mieux peut-être parce que plus large (moins sciento-centré) : réflexion sur ce qui fait la valeur d’un discours réputé savant.

Estimation (statistique).

Évaluation. La clé dans un débat sur la mesure en psychologie si on admet qu’une évaluation psychologique suppose une utilité de contrôle social des individus évalués.

Explication (scientifique). Tout étudiant de licence de psychologie devrait pouvoir produire au moins une définition de ce qu’est l’explication scientifique, puisque celle-ci sert éventuellement à justifier la curiosité de celui qui veut observer ou les attentes de celui qui veut intervenir. Définir ce qu’est l’explication scientifique nécessite quelques prérequis (voir 25a).

Hypothético-déductif (raisonnement, démarche). Certains disent que la méthode scientifique repose sur la démarche hypothético-déductive (il faut aussi parler de l’induction et de l’abduction comme modes de raisonnement non valides employés pour pour généraliser et diagnostiquer, respectivement). Connaître ces modes de raisonnement est une compétence méthodologique. Savoir qu’un raisonnement hypothético-déductif sert à tester une hypothèse et que le résultat du test est soit la falsification soit la corroboration, c’est-à-dire une conclusion de plausibilité, c’est une compétence méthodologique. Savoir décomposer l’hypothèse comme une conjonction d’hypothèses est une compétence méthodologique.

Indépendance (de deux variables aléatoires). Technique probabiliste. Ne surtout pas confondre l’indépendance au sens technique des probabilités (i.e., les probabilités n’ont pas de vocation théoriques, ou seulement au sens de la théorie des objets mathématiques) et l’absence de relation causale entre deux phénomènes, ce serait une erreur de catégorie.

Individu (statistique, ou unité d’observation). Ce qui, quand on l’utilise dans une théorie particulière, forme le support ontologique d’un phénomène. Typiquement, une personne à un moment donné constitue une unité d’observation.

Liberté. Pour une personne, le fait qu’elle puisse se soustraire ou être soustraite à un certain pouvoir, quand c’est nécessaire. La liberté n’est liberté que vis-à-vis de quelque chose. On n’est pas libre de tout, on est libre de quelque chose.

Lucidité. Attitude qui consiste, pour une personne, à être prête à reconnaître que ses croyances sont fausses pour des raisons rationnelles.

Objectivation/subjectivation. Croisée des chemins en psychologie mais plus largement dans les sciences de l’homme (cf. Granger, 1994). L’élaboration de la connaissance scientifique passe par la description objective des phénomènes. Lorsqu’elle est coercitive, cette description procède d’une appropriation préalable de la nature. Quelles sont les conditions d’une connaissance scientifique d’une personne ? Autrui ne nous appartient pas. Une étudiante s’intéresse à ce qu’une mère alcoolique pourrait dire du bébé dont elle est enceinte. Avant d’être un problème scientifique, le problème est celui des conditions d’accès à cette personne : comment aborder cette personne ? On “frappe à sa porte” et on lui demande si elle veut bien s’offrir à notre curiosité et à notre jugement ? Il faut défendre la nécessité et la légitimité, en psychologie, d’une philosophie de la dignité, quitte à prendre le risque de conclure à l’incompatibilité des exigences scientifique et philosophique. Dans quelles conditions l’auscultation psychologique (Canguilhem, 1958) de l’autre garantit-elle sa dignité ?

Personne. Notion paradoxale : Paul est une personne unique et permanente dans une certaine durée, ce qui suppose qu’elle est identique à elle-même. Or Paul n’est jamais le même. Si la psychologie est une science, c’est une science des personnes, qui cherche ce qu’il y a de commun à toute personne — et la psychologie différentielle est là pour rappeler ce qui n’entre pas dans le cadre de la science psychologique.

Phénomène. Ce qui se produit. Si quelque chose se produit, il faut que cela se produise dans l’espace-temps, et que cela affecte au moins une entité (notamment, en psychologie, une personne). La description objective permet d’appréhender les phénomènes d’un certain point de vue.

Probabilité. (i) Vous êtes dans la catégorie X. 90% des gens de la catégorie X qu’on a pu examiner avaient telle maladie. Donc la probabilité que vous ayez cette maladie est 90%. Cette conclusion est non seulement logiquement invalide mais fausse : la probabilité que vous ayez cette maladie vaut 0 ou 1. (ii) On teste une hypothèse nulle H0. La valeur de la variable-test tombe dans la zone de signification statistique, définie en fixant à .05 l’erreur de type 1. Donc il y a 5 chances sur 100 que H0 soit fausse. Cette conclusion est logiquement invalide et elle est fausse : soit H0 est vraie, soit elle est fausse. De plus, une opinion fort répandue en modélisation statistique est que H0 est fausse (e.g., Embretson & Reise, 2000).

Relation (binaire). Notion mathématique qui sous-tend la notion de relation entre deux variables statistiques. Cas particuliers : relation restrictive, application et fonction, indispensables pour aborder l’explication et définir une variable statistique.

Validité logique (d’une conclusion). Soit un argument de la forme si prémisse alors conclusion. La conclusion est valide si elle est déductible de la prémisse. Dans de nombreux domaines d’activité, la validité des conclusions n’est pas nécessaire. La validité des conclusions est un critère nécessaire de la scientificité d’une conclusion.

Variable (statistique). Concept fondamental qui devrait être enseigné quelle que soit la formation initiale des enseignants (mathématiques, psychologie, …) en L1, L2 et L3 (cf. 24a). Une variable en statistique n’est pas nécessairement une variable aléatoire.

Vérité (d’un argument). Un argument est vrai ou faux mais pas ni vrai ni faux. Si un argument est supposé être ni vrai ni faux, l’énonciation de cet argument n’a pas de finalité scientifique. Si on admet qu’un argument est vrai ou faux, on peut fonder la méthodologie comme moyen de répondre à la question de savoir comment faire pour connaître la valeur de vérité de tel ou tel argument. Tester une hypothèse est un moyen de découvrir qu’elle est fausse (si on se contente du témoignage d’un événement qui tombe dans la classe de ses falsificateurs).

28a. Validité concourante, trompe-l’oeil métrologique

Deux tests sont supposés mesurer la même grandeur. Par exemple, deux échelles d’anxiété mesurent l’anxiété, deux tests de facteur g mesurent le facteur g (intelligence dite générale). La doctrine de la validation des tests propose un critère de validation fondé sur ce qui est appelé la validité concourante (ou encore, convergente) des tests. La performance rhétorique accomplie est remarquable : les tests, conçus comme instruments, sont dotés d’une propriété, qu’on qualifiera de “psychométrique”. Cette “propriété psychométrique” se mesure avec la corrélation des scores aux deux tests — ce qui montre la confusion entre “test” et “score”, variable définie en partie en référence à ce test. L’usage veut que la validité concourante soit jugée “satisfaisante” si elle est supérieure à 0,70.

Si une corrélation supérieure à 0.70 suffit pour déduire que les deux tests appliqués à la même unité d’observation mesurent toujours la même quantité de la même grandeur, cet article montre que ce critère de validation est faux. Si, pour sauver la grandeur, on concède que la quantité mesurée par chaque test n’est pas la même, la corrélation des scores n’a plus de pertinence. Si on se retranche sur une interprétation du genre “on peut faire une confiance modérée dans les scores”, les conclusions comparatives qu’on va tirer sont logiquement invalides (c’est le côté fumeux de la doctrine de la validation des tests, voir Borsboom et al., 2009).

1. Corrélation (linéaire)

Pour s’en rendre compte, commençons par ce qu’est une corrélation en étudiant quelques exemples concrets, à commencer par celui qui est présenté graphiquement ci-dessous. ValiditeConcouranteJ’ai simulé un échantillon aléatoire de 10 personnes ayant passé, dans la foulée, les tests X et Y, dans un ordre quelconque. Les tests sont composés d’items dont le format de réponse est une échelle de Likert de -3 à +3 points, ce qui fait qu’on peut avoir des scores négatifs. Chaque personne est représentée sur le graphique par un losange. La corrélation vaut 0,702 et on voit nettement que les losanges ne sont pas alignés.

Plus la corrélation s’approche de 1, plus les points (losanges) sont rectilignes. La corrélation du nuage de points ci-dessous vaut 0,998. ValiditeConcourante2Remarque 1. Si les points sont rectilignes, on peut les ordonner en se donnant un “bas” et un “haut”. On obtient un ordre simple parce que deux points distincts quelconques sont comparables : l’un se trouve plus bas que l’autre. Il faut bien voir que les points vert et noir du premier graphique ne peuvent pas être ordonnés par rapport à l’axe du nuage de points : on ne peut pas soutenir que l’un est plus bas que l’autre ; ils sont incomparables. Donc l’ordre qu’on peut définir sur ce nuage de points n’est pas simple (c’est un ordre partiel). Il est impossible d’utiliser les points comme positions d’une échelle ordinale.

Remarque 2 (technique et falcultative). La corrélation mesure le degré d’alignement rectiligne des points parce que (i) c’est une covariance réduite (i.e., divisée par le produit des écarts types) et que (ii) la corrélation est maximisée si et seulement si les variables sont reliées par une fonction affine positive (il existe a et b > 0 tels que Y = a + bX).

Par définition,

corrélation(X, Y) = covariance(X, Y)/[écart type(X) × écart type(Y)],

X et Y sont un couple de variables. Dans le cas où la population sur laquelle ce couple est défini est finie, la covariance des deux variables est la moyenne des produits des écarts à la moyenne, c’est-à-dire des termes (ximx)(yimy), où i indexe l’unité d’observation et mx désigne la moyenne de X. L’écart type d’une variable est la racine carrée de sa variance et la variance d’une variable est la covariance de cette variable avec elle-même. Dans le cas où la population est infinie, voir un cours de statistique sur les moments d’une variable aléatoire réelle. Si les deux variables sont liées positivement de manière affine, il existe un réel strictement positif b tel que

Y = a + bX.

D’après les règles de l’algèbre (voir par exemple Allaire, 1998), covariance(X, a + bX) = b var(X) et var(a + bX) = b2 var(X). D’où, en remplaçant les termes,

corrélation(X, Y) = covariance(X, a + bX)/[écart type(X) × écart type(a + bX)]
= b var(X)/{racine[var(X)] × racine[var(a + bX)]}
= b var(X)/racine[var(X) × var(a + bX)]
= b var(X)/racine[var(X) × b2 var(X)]
= b var(X)/b var(X)
= 1.

Réciproquement : la valeur maximale d’une corrélation est 1 et quand la corrélation vaut 1, cela entraîne que les deux variables sont positivement affines.

La covariance du couple (X, Y) ne peut pas être plus grande que le produit des écarts types. En effet, il existe les réels a, b et la variable résiduelle Z tels que Y = a + bX + Z, avec cov(X, Z) = 0 (il suffit pour s’en convaincre de considérer que les variables X et Y sont des vecteurs de même origine, et d’exprimer le vecteur Y comme la somme de deux vecteurs, l’un qui est aligné au vecteur X, l’autre, Z, qui est à angle droit de X). Il s’ensuit que

cov(X, Y) = cov(X, a + bX + Z) = b var(X) + 0 = b var(X).

D’autre part, var(Y) = var(a + bX + Z) = b2 var(X) + var(Z). Finalement,

corr(X, Y) = b var(X)/{racine[var(X)] × racine[b2 var(X) + var(Z)]}
= b var(X)/racine{var(X)] × [b2 var(X) + var(Z)]}
= b var(X)/racine{[b var(X)]2 + var(X) × var(Z)]}.

Comme b var(X) ≤ racine{[b var(X)]2 + var(X) × var(Z)]} car var(X) × var(Z) ≥ 0, la corrélation ne peut pas dépasser 1. Si elle vaut 1, alors var(Z) = 0 et b > 0, ce qui signifie que Y et X sont reliés par une relation affine positive (Y = a + bX).

2. Corrélation imparfaite et incomparabilité

Le phénomène remarquable que décrit une corrélation positive strictement inférieure à 1 est que les points ne sont pas rectilignes. S’ils ne sont pas rectilignes, on ne peut pas exclure que deux points distincts soient incomparables (comme les points vert et bleu du premier graphique). Que signifie l’incomparabilité du point de vue du mesurage (défini dans 3a) ?

Prenons un exemple dans la vie pratique, en considérant non pas deux tests mesurant une grandeur psychologique chez deux personnes mais deux thermomètres mesurant la température extérieure à deux moments de la journée. Si le premier indique une hausse tandis que le second indique une baisse de température, ou l’inverse — deux 2-uplets incomparables —, on a un problème. Au moins un des deux thermomètres ne fonctionne pas correctement et on regarde les données avec scepticisme : on ne les qualifie pas comme données, donc on ne les traite pas.

Si on appliquait le critère de validation concourante à ces thermomètres, on exigerait que les relevés effectués sur un échantillon de moments différents corrèlent à au moins 0,70. Donc on accepterait une certaine quantité de 2-uplets incomparables dans les données. Le critère de validation concourante est faux : si les deux instruments ne mesurent pas toujours la température et si on ne sait pas faire en sorte qu’ils marchent quand on a besoin qu’ils marchent, il vaut mieux ne pas les utiliser (cf. les deux premières remarques de 3a) .

Le lecteur peut télécharger un fichier Excel qui permet de compter les anomalies (paires de 2-uplets incomparables) sur un échantillon de dix unités d’observations, selon la valeur qu’il donne à la corrélation des scores aux deux tests, en la choisissant dans ]0, 1[. Voici un exemple commenté.

Capture1_28a

On veut voir ce qui se passe avec une corrélation théorique (celle qui existe au plan de la population d’une infinité d’unités d’observations) de 0,90 ; on indique la corrélation souhaitée en saisissant “.9” dans la cellule (I, 1) de la feuille de calcul (ou bien il faut remplacer le point de la notation américaine par une virgule). Les scores d’un échantillon aléatoire de 10 personnes sont générés dans les colonnes X et Y (pour des détails sur la simulation, me demander en envoyant un commentaire). La corrélation empirique est calculée dans la cellule (I, 4) de la feuille de calcul : 0,814.

Le plus intéressant à mes yeux, c’est le nombre de situations incohérentes. Avec 10 personnes, on a (10 × 10 − 10)/2 = 45 paires possibles formées par des personnes distinctes. Ces paires sont représentées dans la matrice ci-dessous. Les cellules du triangle du bas sont programmées pour afficher 0 si les 2-uplets sont comparables et 1 si les 2-uplets sont incomparables. Le nombre de 1 divisé par 45 et multiplié par 100 est le pourcentage d’anomalies. Ce pourcentage est calculé dans la cellule (I, 6) de la feuille de calcul  : 16 % (voir la capture d’écran ci-dessus).

Capture2_28a

La feuille de calcul génère de nouvelles données à chaque fois qu’on appuie sur la touche f9 du clavier. Même des corrélations jugées très élevées en psychologie, i.e., supérieures à 0,90, permettent une quantité non négligeable d’anomalies, c’est-à-dire de situations où il est impossible de décider laquelle des deux unités d’observation possède le plus de quantité au vu des scores.

3. Tautologie ou invalidité logique

Pour sauver le mythe “les deux tests mesurent la même grandeur”, on peut argumenter de deux manières. La première, hétérodoxe du point de vue de la doctrine de la validation des tests, consiste à proposer deux conventions (cf. l’article 9a) : (i) un score au test X mesure ordinalement la quantité de grandeur d’une unité d’observation (u, t) ; un score au test Y mesure ordinalement la quantité de grandeur d’une unité d’observation (u, t’). Comme la passation des tests X et Y par la personne u ne peut pas être faite au même moment (t et t‘ ne se recouvrent pas), rien n’interdit d’observer des 2-uplets incomparables si rien n’interdit la variation de la quantité mesurée entre t et t’.

Détaillons avec l’exemple des points vert et noir du premier graphique. Le point vert, de coordonnées (-7, -4), correspond à la personne u10. On a X(u10, t1) = -7 et Y(u10, t’1) = -4. Le point noir, de coordonnées (2, -15), correspond à la personne u3. On a X(u3, t2) = -2 et Y(u3, t’2) = -15. Comme les moments du mesurage sont distincts, rien n’empêche que u10 ait eu moins de quantité de la grandeur à t1 que n’en n’avait u3 à t2 (-7 < -2), ni que u10 ait eu plus de quantité de cette grandeur à t’1 que n’en avait u3 à t’2 (-4 > -15). Sans la convention, selon laquelle la quantité de grandeur ne varie pas entre t et t’ (convention C de 9a), tout ce qui précède est infalsifiable. C’est vrai par convention, ou encore, c’est tautologique. Dans cette perspective, la validation concourante n’a plus de sens, puisqu’il n’y a pas de raison de s’attendre à une corrélation élevée entre les deux séries de scores : les tests mesurent la même grandeur, pas la même quantité de cette grandeur.

L’autre argumentation est orthodoxe et psychométrique. Les scores aux tests X et Y mesurent des scores vrais, mais avec une erreur de mesure. En général, c’est la théorie classique des tests qui est convoquée. Le problème est qu’un score vrai n’est pas une quantité de grandeur. On pourra supposer qu’un score x mesure un score vrai relié de manière positive et affine à la quantité q et qu’un score y mesure un score vrai relié de manière positive et affine au score vrai mesuré par x, soit :

-7 = τ(u10) + e(u10, X)
– 4 = a + bτ(u10) + e(u10, Y)
2 = τ(u3) + e(u3, X)
– 15 = a + bτ(u3) + e(u3, Y),

c’est-à-dire une équation à six inconnues (quatre erreurs de mesure et deux scores vrais) pour quatre données.

Conclusion : impossible de déduire quoi que ce soit sur les scores vrais de u3 et de u10. En d’autres termes, toute comparaison des scores vrais est, du point de vue de la théorie classique des tests, logiquement invalide. Je ne détaille pas ce qui se passe si on  invoque un modèle de réponse à l’item, la conclusion est la même (voir quand même l’article 22a). Dire que les tests mesurent approximativement une quantité de grandeur sans préciser que cette approximation empêche toute comparaison logiquement valide est une curieuse façon de parler. Elle sous-entend qu’on accepte d’utiliser les scores de manière logiquement invalide.

Référence

Allaire, D. (1998). Comprendre la statistique. Manuel d’autoformation. Volume 1. Québec: Presses Universitaires du Québec.

Cite this article as: Stéphane Vautier, "28a. Validité concourante, trompe-l’oeil métrologique", in Épistémologie de la psychologie, 16/11/2014, https://epistemo.hypotheses.org/2376.

27a. Pour un nouveau paradigme de publication scientifique

La réflexion qui suit a été suscitée par la lecture de Ioannidis (2014). L’appréciation de la valeur des contributions scientifiques suppose qu’il existe des contributions scientifiques (cf. 18a). En bonne méthode, distinguons les deux questions : (i) y a-t-il une contribution ? (ii) Si non, il faut s’expliquer : ce qui est affirmé est déjà su, ou bien, si ce n’est pas déjà su, ça n’est pas vrai pour telles et telles raisons. Si oui, quelle est la valeur de cette contribution ? Le chercheur ne devrait pas avoir à se préoccuper (trop, encore moins exclusivement) de la valeur de ses contributions, mais seulement de produire les contributions qui sont à sa portée dans son contexte de recherche (intellectuel, financier, environnemental, etc.).

Le modèle actuel de publication scientifique dans des revues cotées permet la valorisation et donc la légitimation sociale des travaux de recherche par “héritage” : un article hérite de la valeur de la revue qui le publie (un papier publié dans Psychological Review est un très bon papier parce que la revue est une très bonne revue). Cette valorisation-légitimation s’effectue au détriment de la création et de la mise en commun des contributions scientifiques des chercheurs (par exemple, une analyse méthodologique qui attaque un paradigme dominant (le scorage psychotechnique) n’est pas acceptée pour publication, voir Vautier 2014).

Il est techniquement facile de changer de paradigme de légitimation des travaux de recherche. Une publication scientifique est un texte qui prétend apporter une contribution scientifique dans le contexte d’un certain état des connaissances. Tout article auto-publié (blog, archive ouverte) assorti d’au moins deux commentaires critiques signés peut être reconnu comme contribution scientifique, si les commentaires reconnaissent la contribution qui est apportée. Ainsi, si la communauté le décide, aucun chercheur n’a besoin de se plier aux lois ou caprices de la publication dans des revues dont la politique éditoriale est conditionnée par une lutte de prestige (voir Notturno, 2000). Il suffit qu’il sollicite lui-même des commentaires auprès de ses collègues et auto-publie les textes commentés qu’il peut et souhaite partager.

Pour que la pratique soit viable, la communauté doit encourager ses membres à consacrer du temps à critiquer des articles (ce qu’ils font déjà mais à l’initiative des “editors” et de manière anonyme ; voir Bon, 2015, 24 janvier ; Langlais & Stanboliyska, 2014, 10 novembre). Un relevé public de qui évalue quoi et dans quel délai devrait pouvoir être géré par les sections du CNU ou tout comité académique idoine.

Tout chercheur peut présenter son bilan scientifique aux instances institutionnelles en listant ses contributions scientifiques (théoriques, empiriques, méthodologiques, etc., y compris critiques lorsqu’il travaille comme “reviewer”).

 

26a. Le fétichisme des scores psychotechniques

Les psychologues qui utilisent des tests psychotechniques doivent savoir : sauf preuve du contraire, un score psychotechnique n’est pas une mesure. Par conséquent, interpréter le QI de Julie comme une mesure approximative de son intelligence, interpréter le score d’anxiété de Paul comme une mesure approximative de son anxiété (voir le sondage 1), cela consiste à développer un mode de pensée non pas scientifique mais fétichiste (voir Gori, 2014, 5:13-5:23). La question qui se pose aux psychologues qui calculent et interprètent des scores psychotechniques est de savoir s’ils sont prêts à assumer que certaines pratiques de fabrication et d’utilisation de scores psychotechniques soient des pratiques fétichistes.

Cette question déontologique ne se pose pas dans le contexte scientiste dominant, parce que la doctrine officielle stipule que nous savons mesurer des grandeurs psychologiques grâce à des outils psychotechniques scientifiquement validés — des instruments de mesure. Les spécialistes de la mesure en psychologie qui se réclament de l’esprit de scientificité ont un devoir de clarification vis-à-vis des utilisateurs, praticiens ou chercheurs, des tests. Cet article est une contribution à cette nécessaire clarification.

Tout d’abord, il s’agira de préciser ce que mesurer veut dire. Ensuite, il faudra montrer en quoi la pensée scientifique n’est pas une pensée fétichiste. Enfin, on esquissera le problème de la légitimation de l’utilisation des scores psychotechniques.

1. Ce que mesurer veut dire : définitions

La définition de la doctrine dominante en psychologie est une singularité culturelle dans les sciences empiriques : en psychologie, mesurer, c’est noter. Autrement dit, il suffit qu’un système de notation soit consensuel pour que les notes résultant de l’application de ce système de notation soient des mesures. Nous n’avons pas à analyser en détail les conditions du consensus ; il suffit de remarquer (i) que certaines analyses statistiques de réponses recueillies sur des cohortes de répondants doivent avoir été rapportées dans des articles publiés dans des revues académiques dites qualifiantes, et que (ii) ces analyses (ACP, analyses factorielles linéaires ou non linéaires, modèles de réponse à l’item, etc.) postulent, au lieu de la tester, la mesurabilité des grandeurs latentes dès que les variables latentes de ces modèles sont interprétées comme grandeurs psychologiques (à propos de la “validité de construit”, voir par exemple Borsboom et al., 2009).

Dans d’autres disciplines, la définition qui prévaut est plus exigeante. La formulation suivante me convient : “Des observations (y compris des réponses à des items de tests) mesurent une certaine quantité d’une certaine grandeur si et seulement si leur variation dépend de la variation de la quantité de grandeur, de telle manière qu’il soit possible de déduire de la variation observée que la quantité de grandeur a augmenté ou diminué” (3a).

Le problème rédhibitoire qui se pose pour la mesure de grandeurs psychologiques par les réponses à des items de tests est que les séries de réponses que l’on observe ne varient pas de manière ordinale. C’est que les observations qu’on peut faire dans un langage descriptif exact et multivarié ne sont habituellement pas complètement ordonnées. Par exemple, la série (échec, réussite) et la série (réussite, échec) ne sont pas ordonnées. D’où le recours à un système de notation si on veut néanmoins affirmer qu’on mesure une grandeur avec ces réponses. En caricaturant à peine, il suffira qu’une interprétation unifactorielle soit acceptable pour que le test soit validé.

2. La pensée scientifique n’est pas un fétichisme, le scientisme est un fétichisme

On doit à Popper qu’une condition nécessaire pour qu’une théorie empirique soit scientifique est sa testabilité. La testabilité d’une théorie entraîne qu’elle est fausse ou bien en sursis étant donné ce qu’on appelle l’évidence (evidence) — aucune théorie scientifique n’est sûrement vraie. Une théorie fausse est une théorie qui ne correspond pas à ce qui se passe réellement d’où une certaine tentation, que certains disent constructiviste, de se passer du réel, à laquelle certains comme Piaget, qu’on appelle aussi constructivistes, ne cèdent pas.

Un fétiche est un objet qui permet d’évoquer, ou d’invoquer si on s’adresse à elle, une entité métaphysique par le biais d’une convention ; il suffit que (presque) tout le monde croie à l’entité et croie que l’objet est relié à l’entité pour que cet objet devienne un fétiche. Un score de QI permet d’évoquer une quantité (relative et approximative) d’intelligence, que la théorie psychométrique nomme “score vrai” ou “score latent”. Mais l’évocation psychométrique de cette abstraction n’est pas scientifique parce que la théorie psychométrique ne définit aucune restriction qui permettrait de la rendre falsifiable — le score vrai est un énoncé d’existence, on y croit ou on n’y croit pas. L’évocation est irréfutable parce que l’erreur de mesure n’est pas restreinte. Autrement dit, le système de notation produit un score-fétiche : celui-ci permet d’évoquer une quantité désirée seulement parce qu’on le désire.

Par voie de conséquence, l’utilisation la plus élémentaire de ces fétiches, c’est-à-dire la comparaison de deux scores, ne permet pas de déduire quoi que ce soit concernant la manière dont s’ordonnent les deux quantités évoquées. Un modèle psychométrique emprunte son vernis de scientificité à la théorie des probabilités ; quand il s’applique au monde empirique des événements décrits par l’observation psychotechnique, il devient un modèle non scientifique parce que l’interprétation de l’événement comme résultat d’une expérience aléatoire n’est pas testable. La démarche qui consiste à juger la qualité d’ajustement d’un modèle aux données après l’optimisation des paramètres du modèle en fonction de conventions sur les distributions de probabilité est, dans la pratique de la validation des tests, faite pour accepter des modèles en admettant d’entrée de jeu qu’ils sont faux (e.g., Embretson et Reise, 2000). On retrouve la tentation constructiviste de casser la vérité : la vérité n’est pas ce qu’on cherche, ce qu’on cherche, c’est maintenant l’utilité ou la viabilité, connaître c’est faire (voir aussi Duhem, 2007).

3. La légitimation des scores psychotechniques

Un score n’est pas utile parce qu’il mesure, au sens scientifique du terme, une quantité d’une certaine grandeur. Un score décrit dans un langage ordinal, ou encore comparatif, le comportement observé d’une personne qui a passé un test. Ainsi, il prépare l’élaboration d’une valeur d’usage qui peut être conférée à la personne dès qu’elle est placée dans une situation comparative. Un exemple courant est la comparaison du score à une norme ; si le score se situe à une certaine distance de cette norme, on conférera la valeur d’usage “doit passer d’autres tests” à la personne jugée “déficitaire”. Un autre exemple est le tri des scores pour déterminer un certain nombre de meilleurs scores (concours). La valeur d’usage conférée aux titulaires des meilleurs scores sera “sélectionnés pour la formation” et la valeur d’usage conférée aux titulaires des scores inférieurs sera “en liste d’attente”. Un troisième exemple est la comparaison du score moyen des petits français en mathématiques au score moyen des petits hollandais en mathématiques, de telle sorte que ces scores prennent une valeur d’usage dans le contexte de l’élaboration des politiques éducatives, qui sont évaluées par le biais des scores moyens.

La fabrication de systèmes de notation et l’attribution de notes à des personnes peuvent être justifiées comme une forme de construction d’une fiction instrumentale nécessaire pour répondre à des questions sociales avec une certaine objectivité. Mais ces constructions n’ont pas à être appelées des mesures — les spécialistes de la modélisation psychométrique ne sont pas nécessairement des spécialistes de la mesure. Les spécialistes doivent au contraire faire tout leur possible pour préparer les utilisateurs des indices, et non pas des mesures, à ne pas les utiliser supertitieusement (e.g., Allouche, 2014, 29 janvier ; Piketti, 2013).

4. Conclusions

Deux conclusions peuvent être tirées de ce qui précède. Un praticien des tests devrait pouvoir ne pas calculer de score tant que sa mission n’est pas définie en référence à un problème qui nécessite le scorage. L’examen psychologique par les tests est d’abord une observation standardisée de comportements datés, dont la variabilité temporelle est inconnue, et la qualification première du psychologue consiste non pas à se faire le sorcier des grandeurs psychologiques que les scores sont supposés mesurer, mais à expliciter les limites héritées des connaissances scientifiques de sa discipline : pas de loi scientifique, pas de prévision scientifique (Popper, 1973). S’il est nécessaire, le scorage devrait être justifié dans le contexte d’une convention sociale non-fétichiste, c’est-à-dire telle qu’il soit publiquement reconnu que le score n’évoque pas de propriété naturelle de la personne qui en est titulaire (son intelligence, son anxiété, etc.).

Dans le domaine de la recherche, toute hypothèse dont une variable dépendante ou indépendante prend ses valeurs dans une échelle de scores vus comme des mesures n’est pas une hypothèse scientifique mais une hypothèse fétichiste. Les grandeurs psychologiques ne sont pas des concepts scientifiques tant qu’elles ne sont pas mesurables et les études de validation des tests utilisés ne testent pas la mesurabilité (voir par exemple Michell, 2012) ; sinon, il faudrait reconnaître que la mesurabilité est massivement falsifiée. Par conséquent, un chercheur en psychologie qui s’intéresse aux réponses à un test doit d’abord reconnaître qu’il ne sait pas interpréter ces réponses comme des mesures, parce que dans l’état actuel des connaissances, il est impossible d’établir les conditions empiriques qui permettent de corroborer que les réponses soient des mesures, c’est-à-dire de corroborer que les variations des réponses dépendent de variations quantitatives théoriques, de telle manière qu’on puisse déduire des variations observées ce qui se passe en termes de variations théoriques (voir Vautier, 2014, 15 avril et aussi Hanson, 1971). Il doit imaginer et tester la théorie de ce qui détermine ces réponses pour que ces réponses puissent avoir une quelconque utilité théorique.

Cite this article as: Stéphane Vautier, "26a. Le fétichisme des scores psychotechniques", in Épistémologie de la psychologie, 06/11/2014, https://epistemo.hypotheses.org/2264.

 

 

 

25a. Formes de lois scientifiques

Cet article a pour prérequis l’article 24a ; il détaille l’explication d’un phénomène p par une condition a (cf. 4a et 14a) en distinguant les lois intra- ou inter-individuelles de type complètement déterministe, partiellement déterministe, complètement indéterministe.

1. Population et variables

Le phénomène p et la condition a décrivent l’état d’unités d’observation de la forme (u, t). On peut considérer que les états a et p sont “simultanés”, c’est-à-dire que XY(u, t) = (a, p), ou bien successifs, c’est-à-dire que X(u, t1) = a puis Y(u, t2) = p (avec tout instant ti de l’intervalle de temps t1 strictement inférieur à tout instant tj de l’intervalle t2). Pour alléger les écritures, nous considérons des lois “simultanées”.

2. Loi complètement déterministe

Soit XY : Ω → M(XY) = M(X) × M(Y) une variable descriptive discrète. Une loi complètement déterministe sur le référentiel d’observation [Ω, M(XY)] est le couple (αβ) tel que :

  • α est un sous-ensemble non-vide de M(X),
  • β est un point de M(Y),
  • quel que soit (u, t), si X(u, t) ∈ α, alors Y(u, t) = β,
  • ce qui équivaut à Pr[Y(u, t) = β|X(u, t) ∈ α] = 1 ou encore à Pr[Y(u, t) ≠ β|X(u, t) ∈ α] = 0.

β joue le rôle du phénomène à expliquer et α celui de sa condition suffisante. L’existence d’un (u, t) tel que XY(u, t) se trouve dans l’ensemble α × ¬β est un falsificateur de la loi. L’ensemble α × ¬β est l’ensemble de tous les états conjoints α (du point de vue de M(X)) et ¬β (du point de vue de M(Y)).

Lois intra-individuelles, lois inter-individuelles.

La loi (XY, αβ) est une loi intra-individuelle si la variable XY est définie sur une population d’unités d’observations de type (u, ti), c’est-à-dire qu’on s’intéresse à l’état de l’entité/personne u à des moments différents t1, t2, etc. Quand on écrit “quel que soit (u, t)”, seul t varie.

La loi (XY, αβ) est une loi inter-individuelle si la variable XY est définie sur une population d’unités d’observations de type (u, tu, i), où on fait varier aussi bien les entités u que les moments tu, i où on les décrit. En d’autres termes, la population Ω la réunion des populations Ωu, Ωv, Ωw, etc., où u, v, w, etc. sont les entités possibles.

3. Loi partiellement déterministe

Une loi partiellement déterministe sur [Ω, M(XY)] est le couple (αβ) tel que :

  • α est un sous-ensemble non-vide de M(X),
  • β est un sous-ensemble strict d’au moins deux points de M(Y),
  • quel que soit (u, t), si X(u, t) ∈ α, alors Y(u, t) ∈ β,
  • ce qui équivaut à Pr[Y(u, t) ∈ β|X(u, t) ∈ α] = 1 ou encore à Pr[Y(u, t) ∉ β|X(u, t) ∈ α] = 0.

β joue le rôle d’une description en “ou… ou” du phénomène et α celui de sa condition suffisante. Connaissant X(u, t) ∈ α, on ne peut prédire la valeur exacte de (u, t) par Y (indétermination partielle) ; mais on peut exclure les valeurs de l’ensemble ¬β, complémentaire à β (détermination partielle).

Comme dans le cas d’une loi complètement déterministe, l’existence d’un (u, t) tel que XY(u, t) se trouve dans l’ensemble α × ¬β est un falsificateur de la loi.

4. Lois complètement indéterministes

Les lois complètement indéterministes n’excluent aucun état possible dans M(Y) conditionnellement à l’état explicatif α. Il n’est plus possible d’utiliser la notion de condition suffisante d’un phénomène. En effet, pour tout (u, t), si la condition α est réalisée, l’état β est réalisé ou n’est pas réalisé. Autrement dit, la loi ne dénie rien (cf. Popper, 1973), elle n’a pas de falsificateur (et n’est donc pas falsifiable). La connaissance apportée par α porte sur une nouvelle notion, la probabilité que l’état β se réalise en (u, t) lorsque α se réalise en (u, t).

Attention ! Si on remplace la phrase qui précède par “la probabilité que l’état β se réalise lorsque α se réalise“, on perd de vue le support ontologique des phénomènes. Considérons l’état conjoint dans M(XY) des unités d’observation (u, tu, 1), (u, tu, 2) et (v, tv, 1). À priori, la probabilité que l’état β se réalise en (u, tu, 1) lorsque α se réalise en (u, tu, 1) n’est pas nécessairement égale à la probabilité que l’état β se réalise en (u, tu, 2) lorsque α se réalise en (u, tu, 2) ; de même, il n’est pas évident que ces deux probabilités soient égales à la probabilité que l’état β se réalise en (v, tv, 1) lorsque α se réalise en (v, tv, 1). On va voir qu’il est possible de soutenir la nécessité théorique de l’égalité de ces probabilités.

Une loi complètement indéterministe sur [Ω, M(XY)] est le triplet (αβ, π) tel que

  • α est un sous-ensemble non-vide de M(X),
  • β est un point de M(Y),
  • quel que soit (u, t), il existe un unique π ∈ ]0, 1[ tel que Pr[Y(u, t) = β|X(u, t) ∈ α] = π.

Dans le cas d’une loi intra-individuelle, la loi binomiale teste l’hypothèse nulle “quel que soit t, Pr[Y(u, t) = β|X(u, t) ∈ α] = π“. Autrement dit, si u existe dans l’ensemble des moments d’observation {t0, t1, …, tn}, rejeter l’hypothèse nulle consiste à rejeter la proposition

Pr[Y(u, t0) = β|X(u, t0) ∈ α] = π

et

Pr[Y(u, t1) = β|X(u, t1) ∈ α] = π

et … et

Pr[Y(u, tn) = β|X(u, tn) ∈ α] = π.

Il suffit qu’il existe un moment ti tel que Pr[Y(u, ti) = β|X(u, ti) ∈ α] ≠ π pour que l’hypothèse nulle soit fausse. D’un point de vue théorique, si on suppose que la probabilité qu’une entité donnée soit dans l’état β dépend du fait qu’elle soit dans l’état α, on sous-entend que le temps ne détermine pas cette probabilité — seulement l’état α. Ceci permet d’exclure la possibilité que la probabilité dépende d’autre chose que de l’état de l’entité du point de vue de M(Y). Le problème théorique consiste à déterminer les prémisses qui permettent de déduire la valeur π.

Supposons le problème théorique réglé — s’il n’est pas réglé, il n’y a pas d’hypothèse théorique à tester. Le problème pratique consiste à déterminer une fréquence contre laquelle tester l’hypothèse. Il s’agit d’effectuer un relevé d’observations en différents moments t1, t2, …, tm. À tout moment, on observe si u se trouve dans l’état α ou bien dans l’état ¬α et dans l’état β ou ¬β. Parmi les occurrences où u se trouve dans l’état α, on compte le nombre de fois où β est réalisé, ce qui permet de calculer (et non pas mesurer) la fréquence Fq(β|α).

Un tel relevé d’observations suppose que l’existence de l’entité u ne dépende pas de l’état dans lequel elle se trouve du point de vue de M(XY). Si on s’intéresse par exemple à l’état β “tentative de suicide”, si une tentative de suicide entraîne la mort de l’entité, il n’est plus possible d’acquérir l’information empirique nécessaire pour tester l’hypothèse nulle.

Il faut maintenant aborder le problème du passage d’une loi intra-individuelle à une loi inter-individuelle. Considérons les entités u et v et les lois intra-individuelles

“quel que soit tu, i, Pr[Y(u, tu, i) = β|X(u, tu, i) ∈ α] = πu

et “quel que soit tv, j, Pr[Y(v, tv, j) = β|X(v, tv, j) ∈ α] = πv“.

La question est de savoir si πu = πv. Si on admet que les probabilités sont distinctes, de quoi dépend cette différence ? Lorsqu’on écrit qu’un état β dépend d’un état α, on écrit que ce qui différencie les entités hors du champ sémantique de M(XY) n’est pas pertinent pour expliquer la probabilité de l’état β, c’est-à-dire que les états qu’on néglige de prendre en compte en ne les décrivant pas ne déterminent pas la probabilité de l’état β (cf. Popper, 1992).

Si on dispose d’une théorie qui permet de calculer (c’est-à-dire de déduire) la probabilité π pour toute entité, il n’est pas nécessaire qu’une entité particulière soit réutilisable une fois qu’on l’a observée. L’hypothèse peut être testée sur la base de l’agrégation d’un grand nombre d’entités.

Si on ne dispose d’aucune théorie de laquelle déduire la valeur de la probabilité, que ce soit πu ou πv, la discussion risque de nous entraîner vers des querelles dont le règlement ne peut pas être scientifique. Si on sait déduire la valeur d’une probabilité et si on sait tester cette valeur contre l’évidence accumulée (une fréquence), on peut discuter sur une base empirique : si on n’arrive pas, malgré des efforts convaincants, à réfuter la déduction, on peut bien croire en l’existence des probabilités (propensions poppériennes) en même temps qu’on défend la théorie qui permet leur calcul (et non pas leur mesurage), et on pourra discuter la question de l’égalité des deux probabilités sur une base scientifique (théorique et empirique). Sinon, soit on décide de croire (foi) soit on décide de ne pas croire (athéisme) en l’existence de cette valeur. L’utilisation de développements statistiques qui ne s’adossent à aucune théorie permettant de déduire ne serait-ce qu’une valeur de probabilité constituent une forme mathématisée de pensée religieuse, où cette pensée se substitue à la pensée théorique. L’opacité que constitue la technicité mathématique pour le non-mathématicien masque le statut religieux de l’emploi de la notion de probabilité (cf.  Allouche, 26a).

5. Autres remarques sur la testabilité

Une loi complètement ou partiellement déterministe (αβ) définie sur un référentiel d’observation [Ω, M(XY)] est testable parce qu’elle implique la possibilité logique d’une unité d’observation (u0, t0) telle que XY(u0, t0) ∈ α × ¬β. La loi peut être falsifiée par une seule observation mais sa corroboration doit être effectuée entité par entité plutôt qu’en échantillonnant un agrégat d’entités : la méthodologie de recueil des données dépend de l’objectif de falsification ou de corroboration qu’on se donne.

Un exemple de loi complètement déterministe est un processus de mesurage défini sur une population Ω0 construite à partir d’une personne u0. Le référentiel d’observation est [Ω0, [0, max] × M(X)]. Quelques soient t1 et t2 tels que t1 ∩ t2 = Ø, si Q(u0, t1) ≥ (resp. ≤) Q(u0, t2), alors X(u0, t1) ≥ (resp. ≤) X(u0, t2) (voir 11a). Bien que la condition “Q(u0, t1) ≥ (resp. ≤) Q(u0, t2)” ne soit pas observable, la loi est testable car X(u0, t1) et X(u0, t2) peuvent logiquement être incomparables, fait théoriquement impossible.

Une loi complètement indéterministe (αβ) définie sur un [Ω, M(XY)] suppose que l’état de tout u en Y soit intrinsèquement indéterminé à tout moment t. Ce n’est pas vrai par exemple lorsqu’on considère l’état infecté ou non d’une personne à tel moment : la probabilité qu’elle soit infectée vaut 0 ou 1 (voir aussi l’exemple sur le climat et les remarques de Harré et Venn). Le test d’une loi complètement indéterministe nécessite une politique (convention) pour définir un critère de rejet de la loi. Mais attention, absence de rejet ne signifie pas corroboration : la corroboration suppose la non-falsification et, comme une loi complètement indéterministe n’est pas falsifiable par définition (une probabilité nulle est théoriquement exclue), elle ne peut pas être non-falsifiée, condition nécessaire à la corroboration.

Dans le domaine de la modélisation psychométrique de la réponse à l’item, la condition α est définie en référence à un espace latent, ce qui a pour conséquence qu’il est impossible de déterminer des fréquences conditionnelles.

24a. Référentiel de description, référentiel d’observation

Si on a pour objectif d’expliquer, ou, plus modestement, et c’est encore très ambitieux, d’observer scientifiquement des phénomènes, la première chose à faire consiste à définir ces phénomènes ; sinon, on ne sait pas exactement en quoi consiste l’observation d’un phénomène ni, a fortiori, son explication.

1. Référentiel de description

La question est alors : comment décrivons-nous les phénomènes qui nous intéressent ? La méthodologie statistique répond : en utilisant des valeurs (ou modalités) descriptives mutuellement exclusives1. Il existe un hiatus entre la notion de phénomène et le concept d’ensemble de modalités mutuellement exclusives, qui, à première vue, n’est pas difficile à combler : les phénomènes peuvent être définis comme des transitions d’états et il s’agit de se doter d’un ensemble de tous les états possibles pour pouvoir concevoir des phénomènes de transition d’états.

Par exemple, le sexe des gens est décrit dans l’ensemble de valeurs mutuellement exclusives {♀, ♂}. Certaines personnes contestent cette catégorisation, ce qui permet de garder à l’esprit qu’un ensemble de modalités descriptives est une convention (voir Searle, 1995). La taille des gens est décrite dans le segment [0 cm, 280 cm] (à propos du caractère approché d’une grandeur continue, voir 7a, ou mon cours de mesurage, vidéos 1 et 2). On peut alors décrire les phénomènes en adoptant les deux points de vue “sexe” et “taille”, et on utilise l’ensemble {♀, ♂} × [0 cm, 280 cm] dont les valeurs descriptives sont bivariées2. En général, une description est multivariée (voir 20a).

2. Les entités à décrire

Mais la méthodologie statistique ne répond pas à une autre question tout aussi fondamentale : que décrivons-nous à l’aide de ce langage d’observation, ces valeurs descriptives, ou encore ce référentiel de description ? Des entités, ou encore, des êtres ; nous voilà en pleine métaphysique. Si nous voulons décrire quelque chose, nous acceptons implicitement l’existence de ce quelque chose ; nous acceptons aussi que ce quelque chose possède une permanence, bien qu’il puisse changer d’état — ce qui est troublant : comment savons-nous que Paul est toujours Paul si nous acceptons qu’il a changé ? à partir de quels changements considérons-nous que Paul n’est plus lui-même ? même question avec n’importe quoi, par exemple une table.

Les entités peuvent être des particules, des ondes, des molécules, des cellules, des organes, des organismes, des groupes ou sociétés d’organismes, des personnes, des institutions, des langages, des paysages, des territoires, des planètes, etc. Ainsi, on s’intéresse à des entités qu’on se propose de décrire en utilisant un certain langage qui définit des états possibles, c’est-à-dire des états dans lesquels ces entités peuvent se trouver à tel ou tel moment de leur existence.

3. La variabilité ontologique : intra- vs. inter-individuelle

On peut alors définir un phénomène du point de vue statistique : étant donné une certaine variabilité ontologique, c’est-à-dire qui concerne des unités statistiques, quelle est la variabilité observable ? Notons (e, t) l’entité e considérée à l’instant t ; (e, t) est une unité statistique3.

Définitions. La variabilité ontologique est intra-individuelle si on s’intéresse à des unités statistiques de la forme (e, ti), où seul tj varie — on ajoute un indice j à t, pour indiquer que j peut prendre différentes valeurs : on s’intéresse à une entité (personne) particulière en différents instants t1, t2, etc., de son existence. Par exemple, (Paul, 14 h le 21/12/01) et (Paul, 12 h le 19/12/14) sont deux unités statistiques qui définissent une variabilité ontologique intra-individuelle.

La variabilité ontologique est inter-individuelle si on s’intéresse à des unités statistiques de la forme (ei, ti). Autrement dit, on s’intéresse à plusieurs entités (personnes) particulières, e1, e2, etc., chacune étant considérée à un seul instant particulier, respectivement t1, t2, etc. Par exemple, (Paul, 14 h le 21/12/14) et (Julie, 12 h le 19/12/14) sont deux unités statistiques qui définissent une variabilité ontologique inter-individuelle.

On peut aussi envisager des populations statistiques “mixtes” (plan expérimental avec des mesures répétées), où plusieurs entités peuvent être considérées en des instants distincts. Par exemple, la population {(e1, t1.1), (e1, t1.2), (e1, t1.3), (e2, t2.1), (e2, t2.2), (e3, t3.1)}.

De mon point de vue, avant de s’intéresser à la variabilité inter-individuelle, il faut déjà connaître la variabilité intra-individuelle. Par exemple, il est vain de comparer les QI de Paul et de Julie pour savoir qui a le plus gros QI tant qu’on ignore la variabilité du QI de Paul et la variabilité du QI de Julie (pour une simulation voir ici).4

4. L’expression phénoménale de la variabilité ontologique

On peut appréhender un phénomène par la manière dont des états descriptifs possibles se manifestent étant donnée une population d’unités statistiques. Notons D[(e, t)] et, pour alléger l’écriture, D(e, t), la description de e à l’instant t. Si D(e, t) est connue pour toute unité statistique de la population à laquelle on s’intéresse, le phénomène est complètement connu (ce qui ne veut pas dire qu’il soit expliqué). En général, on s’intéresse à des phénomènes définis sur des populations de taille infinie5.

Remarque. Une description instantanée est impossible parce qu’il faut toujours un intervalle de temps non nul pour la produire. Notons [t1, t2] cet intervalle. Considérons deux instants distincts ti et tj dans [t1, t2]. Tant qu’il faut le délai t2t1 pour effectuer la description de e entre l’instant t1 et l’instant t2, on ignore si D(e, ti) = D(e, tj). C’est pourquoi le vocable de description instantanée est incorrect. On peut néanmoins l’utiliser si on est bien au clair avec le fait qu’on décrit cette entité e en référence à un laps de temps et qu’on néglige les éventuelles variations qui s’y déroulent. Employons le mot “moment” pour nous rappeler que l’état de e au moment t n’est pas un état instantané.

La connaissance approchée d’un phénomène relatif à une certaine population d’unités statistiques consiste à connaître la distribution des états possibles pour un échantillon d’unités d’observation6. Cette connaissance est approchée pour deux raisons au moins : (i) les observations ne sont pas instantanées mais momentanées ; (ii) l’échantillon d’unités d’observation n’est pas identique à la population d’unités statistiques (il en est un sous-ensemble strict) et la distribution de l’échantillon n’est donc pas identique à la distribution de la population : la première se caractérise avec des fréquences connues, tandis que la seconde se caractérise avec des probabilités inconnues.

5. Objectivité des descriptions

On peut maintenant poser le problème de l’objectivité de la description de (e, t). Le mot “objectivité” peut être vidé de sa connotation réaliste naïve (voir Atlan, 1986 ; Bitbol, 2010 ; Danziger, 1990 ; Feyerabend, 1979 ; Granger, 1995 ; Searle, 1995), puisque, comme notre langage descriptif est une convention, rien ne nous permet d’affirmer que ce qu’on énonce à propos d’un (e, t) corresponde exactement à ce qui est (i.e., ce qui est supposé être indépendamment de notre propre expérience).

Dans certaines situations, l’auteur de la description joue un rôle important. Si Paul dit qu’il est anxieux — ce qui se note DPaul(Paul, t) = anxieux —, cela n’entraîne pas que DJulie(Paul, t) = anxieux. Autrement dit, Paul et Julie peuvent être des observateurs de la même entité, Paul, au même moment t, tout en produisant des descriptions différentes de cette unité d’observation. Ils ne sont alors pas interchangeables comme observateurs (voir 8a, 35a).

Définition. Des descriptions objectives sont des descriptions telles que leurs auteurs sont interchangeables du point de vue de la valeur que prend la description : peu importe qui observe, on obtiendra toujours la même description de (e, t). On supprime alors l’indice des notations DPaul et DJulie et on écrit D tout court.

Dès qu’on remet en cause l’interchangeabilité, c’est-à-dire qu’on prend un risque d’erreur en supprimant les indices qui désignent les observateurs, il est inutile d’aller plus loin parce qu’on doute de l’objectivité des observations. Autrement dit, pour qu’une observation soit exploitable pour connaître objectivement un phénomène ou pour tester une théorie objective de ce phénomène, il faut que cette observation soit objective. On peut dire qu’une description est “cotation-objective” ou encore “objective au sens faible” pour être précis.

Remarque. La cotation-objectivité d’une observation est une affirmation théorique. Par conséquent, elle peut être fausse. Il suffit de trouver un observateur qui contredise un autre observateur pour que l’objectivité de l’observation, étendue à ces deux observateurs, soit ruinée. Si une personne est dans l’incapacité de produire l’observation en question — elle n’a pas accès à l’entité ou elle n’en maîtrise pas la description —, l’observation n’est ni fausse ni vraie pour elle : comme elle ne lui est pas accessible, elle ne peut exercer son jugement. C’est la confiance que A, qui n’est pas capable d’observer, fait à B qui est capable d’observer, qui fonde l’objectivité des observations de B7.

6. Référentiel de description, référentiel d’observation

Définitions. Une variable descriptive D est une application de l’ensemble des unités statistiques, noté Ω, dans M(D), l’ensemble des valeurs (ou modalités… d’où le “M”) descriptives possibles. M(D) est le référentiel de description et [Ω, M(D)] est le référentiel d’observation — en ce sens qu’on “applique” M(D) à Ω.

On dispose ainsi d’une notation pour désigner le fait qu’on s’intéresse à l’état momentané d’unités d’observation définies dans une population statistique. Comme cela a été envisagé plus haut (1), cet état peut être défini d’un ou de plusieurs points de vue (ne pas confondre point de vue et observateur). Par exemple, on peut considérer la taille de Paul (un seul point de vue) ou bien “à la fois” sa taille et son poids (deux points de vue). L’expression “à la fois” est incorrecte dès lors que la détermination de la taille et la détermination du poids ne peuvent pas être effectuées au même moment. Si on commence par la taille, il faut envisager le moment t1 = [ta, tb], puis le moment t2 = [tc, td] pour le poids. La donnée (taille, poids) est alors référée au moment t = [ta, td], c’est-à-dire qu’on néglige (ce qui est une convention qui donc demande un consensus) les variations instantanées dans l’intervalle t. La description de (Paul, t) est bivariée, c’est-à-dire qu’elle prend la forme d’un 2-uplet de valeurs pris dans l’ensemble de tous les 2-uplets possibles.

La dimension de la description dépend du nombre m de points de vue auxquels on s’intéresse. La valeur de m n’empêche logiquement pas que les m-uplets soient des valeurs descriptives mutuellement exclusives. On peut distinguer ces points de vue descriptifs de manière explicite, en distinguant les m ensembles de valeurs descriptives M(X1), M(X2), …, M(Xm). Le référentiel de description est alors le produit cartésien M(X1) × M(X2) × … × M(Xm). La variable descriptive est X = X1X2…Xm ; à toute unité statistique (e, t) de Ω, elle associe une et une seule valeur dans le référentiel de description M(X) = M(X1) × M(X2) × … × M(Xm). Le référentiel d’observation est [Ω, M(X)].

Remarque. Tout (apprenti-)chercheur devrait être capable de spécifier son référentiel d’observation. Malheureusement, le plan type d’un article de recherche empirique en psychologie, tel qu’édicté dans le manuel de publication de l’APA (2010), omet cette obligation élémentaire. Si la communauté qui s’intéresse à un phénomène donné veut communiquer efficacement à propos de ce qu’on en sait, la spécification du référentiel d’observation devrait figurer quelque part dans l’article, de préférence au début puisque pour formuler les objectifs de recherche de manière intelligible, il faut qu’ils soient référés à des phénomènes bien définis, i.e., référentialisés.

Exemple. Winnicott (1969, chapitre 21) décrit un enfant de la manière suivante : “Le petit enfant est inévitablement attiré par l’objet métallique brillant, qui oscille même peut-être” (p. 270). Un référentiel de description est M(X1) = {attiré, pas attiré} et l’unité d’observation est l’enfant (e) au début de la consultation pédiatrique (t1). Le lecteur fait confiance à Winnicott en ce sens qu’il n’envisage pas qu’un autre observateur, regardant par exemple un enregistrement vidéo de la consultation, produirait une autre description (“n’est pas attiré par l’objet”). Winnicott utilise un vocabulaire très riche (être embarrassé, perdre tout intérêt, accepter la réalité de son désir, être déçu, etc.).

Ce vocabulaire n’est pas un référentiel de description, parce que la mobilisation des points de vue descriptifs paraît contingente, c’est-à-dire que selon les situations, il est possible que certains points de vue descriptifs ne soient pas mobilisés (considérés comme pertinents). Un référentiel de description programme la description en la réduisant et en l’universalisant. Il la réduit parce qu’il mobilise une liste finie de points de vue descriptifs (abstraction, i.e., négligence d’autres points de vue descriptifs) ; il l’universalise parce qu’il applique tout point de vue descriptif qui le constitue à toute unité d’observation considérée. La référentialisation de la description de l’enfant dans ce que Winnicott appelle la “situation établie” serait effectuée si on pouvait décrire la description d’un enfant e aux k moments de la consultation, comme une application X1X2…Xm qui à tout (e, ti), où i = 1, 2, …, k, associe un et un seul m-uplet de M(X1X2…Xm) — ce qui est équivalent à la notion d’observation standardisée utilisée en psychologie expérimentale (y compris la passation de tests psychotechniques) : non seulement la situation “expérimentale” est constante, mais encore ce qu’on appelle aussi la “grille” d’observation est constante.

7. Lien avec l’explication

L’explication d’un phénomène p par sa condition suffisante a ou sa condition nécessaire b est relative à un référentiel de description où p, a et b sont des valeurs descriptives. Remarquons que nous venons de modifier l’acception du terme “phénomène”, en laissant le soin au lecteur de distinguer en quelque sorte la partie (p, a et b) du tout (la distribution des états possibles du référentiel d’observation sur une certaine population Ω d’unités statistiques).

Pour spécifier correctement l’hypothèse explicative (c’est-à-dire l’existence d’une ou de conditions nécessaires ou suffisantes, voir 14a), il faut définir le référentiel d’observation auquel elle se réfère, c’est-à-dire son support ontologique et son référentiel de description. Dans le cas de l’hypothèse d’une condition suffisante a de p, on peut considérer X : Ω → {a, ¬a} et Y : Ω → {p, ¬p} et les unités statistiques (e, t). Autrement dit, on se place dans une perspective “simultanée”. Si on veut expliciter le changement d’état de ¬a à a, on peut considérer des unités d’observation de la forme (e, t1, t2) qu’on décrit dans le référentiel de description ({a, ¬a} × {p, ¬p})2, mais je ne vois pas l’utilité de compliquer les choses, surtout si les valeurs a et p sont multivariées !

Remarque. Dans le domaine du mesurage des grandeurs psychologiques à l’aide de tests psychotechniques, lorsqu’on s’intéresse à une personne e, il est nécessaire de raisonner sur au moins deux moments. On peut le faire sans utiliser les unités statistiques (e, t1, t2) parce qu’il suffit de considérer les deux unités statistiques (e, t1) et (e, t2). La variable expliquée (ou dépendante) est une variable empirique multivariée qualitative (on observe à tout moment un m-uplet de réponses). Elle est expliquée par une variable explicative (ou indépendante) univariée quantitative. Celle-ci n’est pas une variable empirique mais une variable théorique (ou latente, voir notamment 5a et 11a). Les unités statistiques sont des (e, t) et le référentiel de description est le produit cartésien [0, max] × M(X1X2…Xm). Comme [0, max] n’est pas un ensemble empirique (ou observable), on ne peut pas identifier la quantité momentanée d’une unité d’observation. Cette quantité est créée par la théorie (c’est une invention) et sa détermination relève d’une déduction théorético-empirique.

Références

American Psychological Association. (2010). Publication manual (6th ed.). Washington, DC: Author.
Rényi, A. (1966). Calcul des probabilités. Paris: Dunod.
Winnicott, D. W. (1969). De la pédiatrie à la psychanalyse. Paris: Petite Bibliothèque Payot.

Cite this article as: Stéphane Vautier, "24a. Référentiel de description, référentiel d’observation", in Épistémologie de la psychologie, 14/10/2014, https://epistemo.hypotheses.org/1973.

  1. L’ensemble de ces valeurs forme ce qu’on appelle en théorie de probabilités une algèbre d’événements (Rényi, 1966). []
  2. Par exemple, une valeur bivariée est le 2-uplet (♀, 170 cm) ; le référentiel de description est le produit cartésien {♀, ♂} × [0 cm, 280 cm]. []
  3. On dit aussi “individu statistique”, mais il vaut mieux réserver le terme “individu” qui est utilisé en psychologie dans les adjectifs “intra-” et “inter-individuel”, au sens où un individu est une personne, c’est-à-dire une entité e. []
  4. D’un point de vue psychométrique, le QI n’est pas une mesure, c’est un fétiche, mais ce n’est pas le point ici. []
  5. Même un segment de temps borné, comme par exemple [21 heures aujourd’hui, 22 heures aujourd’hui], contient un nombre infini d’instants. []
  6. Une unité d’observation est une unité statistique dont l’état a été identifié par l’observation. []
  7. Imposer un référentiel de description à quelqu’un qui n’y a pas accès est une forme de domination politique  — même si elle est consentie. []

23a. Enjeux d’un mémoire de recherche en psychologie

Il y a au moins deux façons de définir le but ultime d’un travail de recherche en psychologie : (1) gagner du prestige en montrant qu’on est capable de publier dans des revues dont le prestige est évalué par son indice d’impact ; (2) essayer de répondre à une question, de telle manière que la réponse (qui inclut le travail qu’elle a demandé) constitue une contribution à la connaissance scientifique actuelle. Malheureusement, les deux types d’objectifs ne sont pas toujours compatibles (voir par exemple Ioannidis, 2014).

1) Pour publier dans une revue prestigieuse,

… il faut soumettre un article qui plaise au comité éditorial de la revue puis aux experts qu’elle sollicite pour l’évaluation de l’article. La solution standard consiste à dire aux étudiants de faire des analyses statistiques (calcul de corrélations, régression multiple, analyse en composantes principales, modélisation avec des variables latentes, des effets mixtes, etc., le principe étant la surenchère dans le degré de sophistication des analyses comme manière de penser le progrès de la recherche). Dans cette perspective, les étudiants attendent qu’on leur explique comment faire ; la formation standard consiste à leur donner des procédures presse-bouton parce qu’il n’est pas possible pour un étudiant standard de comprendre ce que fait le logiciel. Je passe sur l’acquisition des données, tâche subalterne qui n’intéresse personne. Bilan : beaucoup de temps et d’énergie dépensés pour une contribution scientifique indéfinie, pour un exercice de style que de nombreux étudiants considèrent comme une corvée.

2) Pour répondre à une question, de telle manière que la réponse constitue une contribution à la connaissance scientifique,

… il faut se lever de bonne heure, parce qu’il faut beaucoup réfléchir. D’abord, la plupart des questions qu’on se pose ne sont pas des questions scientifiques. Pas facile d’apprendre à juger ce point. De plus, quand on juge, il est décourageant de voir “tomber” toutes les questions qui nous viennent à l’esprit, et carrément déconcertant de constater que la plupart des hypothèses de recherche qu’on trouve dans des articles publiés dans des revues prestigieuses ne sont pas des questions scientifiques (en particulier les hypothèses qui reposent sur l’idée vague d’influence, voir par exemple 37a).

Je poursuis ici la réflexion initiée dans Qu’est-ce qu’une contribution scientifique en psychologie ? Les étudiants sont habitués à entendre parler de VI (variable indépendante) et de VD (variable dépendante). Quelque chose (VD) dépend d’autre chose (VI)…

3) Premier type de contribution possible : de quoi parle-t-on ?

On peut utilement consacrer un mémoire à préciser de quoi tels ou tels auteurs parlent dans quelques articles qu’on aura sélectionnés. En général, il y a un pataquès entre ce qu’ils observent (les réponses des participants de leurs études) et ce dont ils parlent (les construits) et ça demande pas mal de travail de démêler le pataquès. Il s’agit fondamentalement de problèmes de théorie et de méthodologie descriptive, en particulier quand on prétend mesurer des grandeurs psychologiques. Je parie qu’on arrive à montrer que les hypothèses de recherche ne sont pas testables ; en fait, les études focalisées par la mise en évidence d’effets statistiques ne sont pas explicatives mais exploratoires. Si la testabilité est une condition nécessaire pour la scientificité d’une hypothèse, il s’ensuit qu’elles ne sont pas scientifiques parce que pour tester une explication, on doit disposer d’une explication. Très déconcertant. On peut consacrer un mémoire de recherche seulement à proposer un référentiel de description ; il est inutile d’imposer à un étudiant de recueillir des données si le référentiel de description n’est pas au point théoriquement (ce qui ne signifie pas qu’un référentiel de description ne doive pas être essayé sur quelques unités d’observation).

4) Deuxième type de contribution : que se passe-t-il ?

Quand deux psychologues qui observent le même phénomène peuvent ne pas le décrire de la même manière, alors qu’ils utilisent le même langage descriptif, on a un authentique problème d’objectivité (voir Le Kappa de Cohen) : comment faire pour établir l’interchangeabilité des observateurs ? L’interchangeabilité des observateurs est-elle exigible ? Répondre à ces questions, c’est apporter une contribution scientifique à l’état actuel des connaissances.

Si on est au clair avec les phénomènes dont on parle, autrement dit si on est au clair avec les modalités de ses variables, on peut chercher à savoir ce qui se passe dans la fenêtre d’observation qu’on s’est donnée. C’est un objectif modeste, mais toujours utile, de pouvoir décrire ce qui se passe dans telles ou telles conditions.

5) Troisième type de contribution : expliquer ce qui se passe

Si on se donne ce type de but, il faut d’abord savoir ce qu’expliquer signifie. Plusieurs points de vue sont possibles, mais il faut s’en donner un. Celui que j’adopte est développé dans Qu’est-ce qu’une explication scientifique ? et dans Explication, nécessité, condition suffisante vs. nécessaire. Il conduit à la question du déterminisme, développée dans Formes de lois scientifiques.

6) Quatrième type de contribution : trouver une anecdote statistique

Dans cette perspective, on se rapproche de la tradition statisticienne dominante et on tourne le dos à la quête d’explications. Il y a l’anecdote passive et l’anecdote interventionniste. La seconde est la plus utile du point de vue du pouvoir. Si vous montrez que dans la condition a, le phénomène p se produit plus souvent que dans la condition non-a, et si p est désirable, vous avez gagné, surtout si vous savez mettre les gens dans la condition a — vous tenez une anecdote interventionniste  ; si la condition n’est pas contrôlable, c’est moins intéressant  anecdote passive. Vous pouvez aussi raisonner en termes de prévention (voir Explication, nécessité, condition suffisante vs. nécessaire). Et vous aurez un problème industriel : comment montrer que l’anecdote est répétable ?

22a. La probabilité de réussir l’item

Les modèles psychométriques de réponse à l’item reposent sur la notion de probabilité de réussir un item. Cet article explore cette notion dans une perspective épistémologique plutôt que psychométrique (c’est-à-dire statistique). Adopter une perspective épistémologique consiste ici à se demander (i) comment on fait pour savoir quelque chose à partir de la notion de probabilité et (ii) si ce savoir est falsifiable. La conclusion de l’article est qu’un modèle de réponse à l’item (MRI) ne fournit pas un savoir falsifiable sur les différences quantitatives invoquées par le modèle. Si les réponses aux items étaient des mesures (ordinales), les modèles probabilistes de réponse à l’item seraient superflus. Et si on est au clair avec le fait que ces modèles ne sont pas des modèles de mesurage, leur utilité demeure ambigüe et doit être précisée (Vautier, Veldhuis, Lacot, & Matton, 2012). Je remercie par avance chaleureusement tous les commentateurs férus de psychométrie, statistique ou autres probabilités qui voudraient bien me critiquer.

1. La vérité de la proposition « la probabilité que Paul réussisse cet item à ce moment vaut 0,8 »

Comment fait-on pour savoir si cette proposition est vraie ou fausse ? Prenons n’importe quelle valeur p dans ]0, 1[, la phrase « la probabilité que Paul réussisse cet item à ce moment vaut p » est infalsifiable parce qu’elle implique “Paul va échouer ou réussir”, ce qui est une tautologie. Donc la réponse à la question est : je ne sais pas (cf. Vautier, 2012).

Si on donne les valeurs 0 ou 1 à p, alors au moins une des deux phrases est fausse. Si Paul réussit alors que p = 0 la phrase est fausse ; idem si Paul échoue alors que p = 1.

Pas si simple ? Essayons encore et considérons la phrase « la probabilité que Paul réussisse cet item à ce moment vaut 10-20 ». Minuscule probabilité, qui indique que la possibilité de réussite est infime et qu’on peut, comme dirait un ami dont l’érudition psychométrique est immense, raisonnablement croire que Paul va échouer. En d’autres termes, on serait très surpris que Paul réussisse. Et donc on ne parierait pas sur la réussite de Paul si on fait confiance à celui qui indique une telle probabilité. Dans cette histoire, il s’agit de la confiance qu’on a dans celui qui énonce la probabilité.

Remontons à la prémisse. Comment fait-on pour savoir la valeur de la probabilité ? Par déduction mais alors à partir de quelles prémisses ? Au secours Valéry ! Par la connaissance empirique pertinente ? On ne peut que connaître des fréquences, ce qu’il faut développer.

2. Pile ou face et la loi binomiale : ça « marchotte »

« La probabilité que la pièce de monnaie qui se trouve devant moi tombe sur pile quand je vais la lancer vaut 0,1 ». On ne dispose d’aucune connaissance empirique puisque le lancer n’a pas eu lieu, ni de connaissance physique sur le centre de gravité de la pièce. Autrement dit, on dit qu’on ne sait pas et le surplus de sens est une information non pas sur la pièce de monnaie mais sur l’intention de celui qui parle (du registre « je ne parierais pas sur pile, faites comme moi »).

On peut adopter un point de vue empiriste, en faisant appel à une classe de référence, ou encore, c’est la même chose, une population statistique, c’est-à-dire un ensemble de lancers différents de la même pièce de monnaie, dont on postule qu’ils sont régis par la même probabilité. Supposons que la pièce ait été lancée n = 40 fois et qu’on connaisse k = le nombre de fois où elle est tombée sur pile. On peut utiliser les données pour estimer ou pour tester la valeur de la probabilité.

Commençons par le test statistique. Si le nombre k de piles est grand, on sera enclin à douter de la valeur de cette probabilité, puisque pile est par hypothèse très peu probable (p = 0,1). Mais il faut bien voir que ce sentiment de doute ou d’étonnement est logiquement invalide. La probabilité p = 0,1 n’exclut aucun résultat : on peut observer 0 pile, 1 pile, 2 piles, etc. jusqu’à 40 piles dans la série des 40 lancers. La loi binomiale B(40 ; 0,1) indique que la probabilité d’observer 40 fois pile par exemple vaut 10-40, ce qui est très petit mais pas nul.

Voici donc la pragmatique du test de l’hypothèse nulle en statistique : on se donne un risque d’erreur de type 1 (i.e., rejeter l’hypothèse alors qu’elle est vraie) de 0,05 par exemple, ce qui correspond à au moins 7 piles. Si la série exhibe au moins 7 piles, on rejettera l’hypothèse p = 0,1. Attention encore : dans cette approche, le rejet n’est pas une falsification parce que l’hypothèse p = 0,1 est infalsifiable : ses conséquences sur une série de 40 lancers n’excluent aucun événement logiquement possible.

Récapitulons. On ne peut pas tester statistiquement la phrase « la probabilité que la pièce de monnaie que je regarde tombe sur pile quand je vais la lancer vaut 0,1 » parce que la classe de référence de cette probabilité contient zéro élément avant le lancer, un seul élément une fois qu’on a le résultat du lancer. On peut utiliser le chiffre 0,1 comme un indice (et pas une mesure) de la confiance qu’on peut avoir dans la divination “la pièce va tomber sur face”, mais, comme pour les promesses en politique, croire en la divination n’engage que ceux qui croient. Les statisticiens savent que les probabilités n’ont de sens que lorsqu’on se réfère à une classe de référence définie par un très grand nombre d’expériences aléatoires, par opposition à une expérience unique (déjà advenue ou qui va advenir).

Si on se donne une classe de référence dont le cardinal (la taille) est n, on peut tester statistiquement la probabilité à partir du comptage des événements pertinents dans la série de n essais, en se donnant une politique de rejet de l’hypothèse qui est logiquement invalide puisque tout nombre de “succès”, de 0 à n, est compatible avec l’hypothèse. Ainsi, si les divinations “face” réussissent trop peu souvent, on a un moyen conventionnel de rejeter l’expertise de celui qui fournit la probabilité — ce qui a peu d’incidence pratique parce que dans la vie concrète où on appréhende les réponses à l’item de quelqu’un, l’expert en probabilités n’est pas là — il est expert d’un grand nombre d’expériences aléatoires qui définissent une classe de référence de très grande taille — ; en tant que statisticiens spécialisés en psychologie, les psychométriciens sont assez malins pour ne pas se risquer dans des situations d’utilisation individuelles (voir la remarque de G. Rasch) : ils laissent les utilisateurs de modèles de scorage… utiliser les scores.

Il reste l’autre approche, où on veut estimer la probabilité p à partir de la loi binomiale B(40, p) et de k. On se réfère à la probabilité Cnkpk(1 – p)nk de k “succès” dans une série de n essais (voir sur Internet tout article sur la loi binomiale pour les détails de la formule) et on cherche la valeur p qui maximise cette probabilité. Mais il y a un problème : si on se donne les moyens d’observer un nouveau k, disons un k’, on peut trouver une autre valeur et donc une autre estimation de p par maximisation de Cnk’pk’(1 – p)nk’. On est alors conduit à encadrer p par l’accumulation d’observations, au lieu de déterminer sa valeur exacte à partir d’un seul k. La question est de savoir si cet encadrement peut être plus précis que ]0, 1[.

Raisonnons par l’absurde. Si on pouvait réduire l’approximation, on exclurait certains intervalles de valeurs bornés à gauche par 0 ou bornés à droite par 1 ; or la valeur de la probabilité p qui maximise Cnkpk(1 – p)nk pour k = 0 est p = 0 et la valeur de la probabilité p qui maximise Cnkpk(1 – p)nk pour k = n est p = 1. Comme toute probabilité dans ]0, 1[ est compatible avec k = 0 et k = n, on ne peut exclure que l’estimation donne les probabilités 0 ou 1. Comme la possibilité d’un contre-exemple exclut ces valeurs extrêmes, il reste que la probabilité qu’on maximise varie dans ]0, 1[. Par conséquent, on ne sait pas estimer la probabilité p avec une précision plus fine que ]0, 1[ pour des raisons purement logiques (voir aussi la section 3 de l’article 16a). Quelqu’un pourrait-il offrir une objection à cet argument ?

Quoiqu’il en soit, l’estimation d’une probabilité par maximisation de la vraisemblance nécessite qu’on dispose d’une classe de référence de grande taille et on bute sur une seconde objection sérieuse.

3. Réussir ou échouer l’item et la loi binomiale : ça ne marche pas

Revenons à la réalité de la psychologie scientifique : quelle est la classe de référence dont on dispose quand on parle de la probabilité que Paul réussisse cet item à ce moment ? C’est l’ensemble vide tant que Paul n’a pas traité l’item, un singleton quand il l’a traité. Si on imagine qu’on demande à Paul de traiter l’item 40 fois pour utiliser la fréquence des réussites comme mesure totalement imprécise de sa probabilité de réussir cet item à n’importe quel moment, on se rend compte d’une impossibilité théorique rédhibitoire : comment soutenir que la probabilité que Paul réussite l’item au premier essai soit la même que la probabilité qu’il réussisse le même item au nième essai ? Paul apprend — i.e., il change avec l’expérience. Cet argument me semble suffisant pour conclure qu’en psychologie de la réponse à l’item, on ne peut pas utiliser la notion de classe de référence (ou, ce qui est équivalent, de schéma de Bernouilli d’ordre n) comme fondement empirique de théorisation probabiliste de la réponse de quiconque à un item quelconque.

4. La tentative psychométrique

La discussion qui précède intéresse peu les psychométriciens parce qu’ils s’intéressent essentiellement à résoudre le problème de l’assignation d’un nombre à un m-uplet de réponses (cf. l’article 10a). La notion de probabilité n’a pas de rôle théorique, mais un rôle instrumental ou encore calculatoire. Mais ce rôle a une fonction méta-théorique : on score, donc on garantit l’évaluabilité (cf. les articles 10a, 13a, et aussi 19a).

L’idée essentielle d’un modèle de réponse à l’item, consiste à remplacer la fonction de mesurage, qui modélise la réponse à l’item avec les probabilités 0 ou 1, par une fonction psychométrique, qui modélise la probabilité de la réponse à l’item, celle-ci devant nécessairement se trouver dans ]0, 1[. Pour donner une idée précise de ce qui est en jeu, je vais me référer au modèle de Rasch et m’appuyer sur la Rasch Estimation Demonstration Spreadsheet de Mark H. Moulton. Le propos n’étant pas technique mais épistémologique, je n’entraînerai pas le lecteur dans les méandres des calculs mais plutôt dans l’analyse de la signification scientifique des résultats. Il s’agit de comprendre que la probabilisation permet de trouver des valeurs numériques par tâtonnements successifs de telle manière que ces valeurs fournissent nécessairement, on dit aussi convergent vers, la meilleure solution possible. La question est : comment définir le meilleur ? La meilleure solution est celle qui minimise une quantité qu’on appelle résiduelle. La beauté de l’art de l’estimation statistique tient à l’existence de propriétés mathématiques comme l’unicité de la solution qui minimise le résidu. Cette unicité constitue un critère d’acceptabilité sociale du meilleur scorage puisque scorer on veut.

Le point de départ de la démarche d’estimation est une liste de m-uplets dont Moulton donne un exemple. On constate que les 10-uplets ne sont pas simplement ordonnés, ce qui, répétons-le, signifie qu’il n’existe pas de fonction de mesurage (cf. l’article 11a et aussi l’article 13a). Mais on veut quand même donner une valeur numérique aux seuils des items et aux personnes qui ont fourni les 10-uplets, en admettant des irrégularités ordinales aléatoires. Le facteur aléatoire est modélisé par la formule

Pr(Xsi = 1) = exp(βsδi)/[1 + exp(βsδi)],

Xsi est une variable aléatoire binaire dont la classe de référence est la population virtuelle des essais du sujet s à l’item i, βs est la valeur qu’on veut attribuer à s et δi est le seuil de i (dans l’ensemble des réels et non pas dans [0, max]). Cette formule est équivalente au logit

ln[Pr(Xsi = 1)/(1 – Pr(Xsi = 1)] = βsδi,

qui définit l’écart entre la valeur de s et le seuil de l’item.

Ce cadre théorique est le même que le cadre théorique du mesurage, à la nuance près que le domaine de la quantité à estimer/mesurer est étendu à l’ensemble des nombres réels. Mais, contrairement à la démarche scientifique qui prend le risque d’affirmer la non-mesurabilité de la grandeur par les m-uplets si la théorie est fausse, la démarche psychométrique affirme la mesurabilité en dotant le cadre théorique d’un cadre probabiliste dont la valeur ajoutée est calculatoire, tout en reconnaissant que ce cadre est faux (voir par exemple la remarque d’Embretson et Reise — ce n’est pas rédhibitoire, il suffit que les probabilités soient utiles).

Suivons Moulton. Les 10-uplets permettent le calcul de la proportion de réussite des neuf sujets ainsi que la proportion de réponses incorrectes des 10 items, qui sont exprimées en logits (les logits des items étant ensuite centrés). La clé de la méthode d’estimation présentée par Moulton tient à la définition de la quantité résiduelle de chaque cellule de la table de contingence (9 × 10). Les logits des sujets et les logits centrés des items sont utilisés comme estimations des valeurs βs et δi ce qui permet d’estimer les probabilités de réussite de chaque item par chaque sujet (probabilité qui est équivalente à l’espérance de chaque Xsi). Le résidu est la différence entre la valeur observée (1 pour réussite) et la valeur espérée qu’on vient de calculer.

Remarque. L’espérance de chaque Xsi n’est définie que si les valeurs de la variable sont traitées comme des valeurs numériques. Mais 0 et 1 ne sont que des codes pratiques pour “échec” et “réussite”. La variable Xsi n’est pas une variable aléatoire numérique, c’est au mieux une variable aléatoire qualitative si on accepte l’existence de la loi de probabilité dont on la dote. Elle n’a donc pas d’espérance mathématique.

Il ne reste plus qu’à corriger les logits des sujet et les logits centrés des items de manière à ce que les résidus soient minimisés, et ainsi de suite jusqu’à ce que les corrections deviennent négligeables. Assurément, voici du grand art et on ne peut qu’admirer les algorithmiciens de l’optimisation statistique. Finalement, on dispose de 10 valeurs qui ordonnent les sujets sur une échelle numérique parsemée de neufs “barreaux” dont on connaît aussi les seuils.

Mais la beauté du tableau ne doit pas nous faire oublier ce fait initial : la probabilité qu’un sujet quelconque parmi les 10 sujets réussisse un item quelconque parmi les items qu’on connaît est une valeur dans ]0, 1[. Même si, pour des raisons disons pragmatiques, on accepte la non-falsifiabilité des propositions qu’on peut en tirer, cette probabilité n’est pas testable statistiquement parce que sa classe de référence est un singleton si on connaît la réponse à l’item, un ensemble vide si on l’ignore.

L’estimation psychométrique donne la meilleure valeur possible aux 10-uplets observés, c’est-à-dire les hiérarchise au mieux, avec l’innovation socio-technique qui consiste en ce que seuls les experts de l’algorithme d’optimisation savent définir exactement de quoi on parle quand on parle du meilleur. Le modèle de Rasch, et d’une manière générale les modèles psychométriques de réponse à l’item, sont de savantes méthodes d’agrégation numérique ou encore de hiérarchisation de données partiellement ordonnées, pas des méthodes de mesurage. Leur développement est possible précisément parce que les grandeurs qu’on invoque ne sont pas mesurables.

21a. Comparer des scores

Voici une question d’examen, la réponse d’un étudiant de L2 et mes commentaires de sa réponse.

Question. Soit un test de mémoire composé de 20 items cotés 0/1. Le score compte le nombre de réponses correctes (cotées 1). Julie a un score de 13 points et Paul a un score de 18 points. Peut-on en déduire que Paul a une meilleure performance que Julie ? Pourquoi ? (Attention au fait qu’un score n’est pas une performance, une performance étant un 20-uplet.)

Réponse de l’étudiant. Oui on peut déduire que Paul a une meilleure performance. Les scores de la performance sont concrets, observables et surtout mesurables.

Commentaire. Commençons par la réponse : “Oui on peut déduire que Paul a une meilleure performance”. Erreur… 🙁 Il faut faire attention à ce que déduire signifie. On peut déduire B de A si A implique B, ou, c’est la même idée, si B découle logiquement de A. Ici, la prémisse est “Julie a un score de 13 points et Paul a un score de 18 points”. Est-ce que cela implique que le 20-uplet sur lequel repose le score de Paul est supérieur au 20-uplet sur lequel repose le score de Julie?

Non, on sait (cf. 32a) que deux 20-uplets ne sont pas nécessairement comparables. Or, la connaissance des scores (13 et 18) ne permet pas de savoir quels sont les 20-uplets respectifs. On ne peut pas exclure que 13 agrège l’information de 11111111111110000000 et que 18 agrège l’information de 00111111111111111111 par exemple. Or ces 20-uplets sont incomparables.

Utilisons les notations de 11a. On a 13 = AX(Julie) et 18 = AX(Paul) (en négligeant l’ancrage temporel des personnes pour définir complètement les unités d’observation).

AX(Julie) < AX(Paul)” n’implique pas “X(Julie) ≤ X(Paul)”.

L’erreur de raisonnement est possible grâce à la confusion conceptuelle entre score et performance. Un score n’est pas une performance, c’est un jugement de valeur à propos, ou encore, une hiérarchisation sociale — par opposition à une hiérarchie naturelle — de la performance.

Concernant la justification de la réponse, “les scores de la performance sont concrets, observables et surtout mesurables”, il y a du travail à faire au niveau du maniement du français. On peut traduire “Les scores de la performance” par “les résultats du scorage de la performance, i.e., les X = AX ». Ces résultats sont-ils concrets ? Ce qui est concret, c’est la performance observée. Le score résulte de l’application d’une règle d’agrégation A de la performance X. Il est objectif en ce sens que deux psychologues qui partent de la même performance X et appliquent la même règle A obtiennent le même score X. Mais je ne sais pas en quoi ce score est concret ; c’est un symbole communicable. Il est observable une fois qu’il est écrit sur une feuille de papier par exemple, mais cette remarque n’est pas pertinente ici. Ce qui est pertinent, c’est qu’il ne représente pas complètement la performance X.

Dernier élément de la justification de la réponse : “Les scores sont mesurables”. Non. Ce qui est mesurable, c’est une grandeur qui, par définition, est une possibilité théorique non observable. Les scores peuvent éventuellement être considérés comme des mesures, c’est-à-dire, comme des mesurants, mais pas comme des mesurés (dans le même sens qu’on distingue signifiant et signifié en linguistique). Ce qui est mesurable, c’est le mesuré, pas le mesurant.

20a. Les m-uplets et leur dénombrement

Pour réfléchir aux problèmes de description objective, dont le mesurage est une des formes possibles, il faut pouvoir manipuler quelques abstractions élémentaires.

1. Les m-uplets

Un test de m items permet d’observer un m-uplet de réponses. Quand vous lisez le mot m-uplet, visualisez quelque chose comme ceci :

(¤, ¤, ¤, …, ¤),

où le symbole “¤” désigne une place vide. Un m-uplet est une liste de m places numérotées, peu importe qu’elles soient vides ou remplies. La place n° 1 désigne la réponse à l’item n° 1, la place n° 2 désigne la réponse à l’item n° 2 et ainsi de suite jusqu’à la dernière place, la n° m. Une place vide signifie qu’on ne connaît pas la valeur de la réponse mais que cette réponse est possible.

Notation. On peut noter x = (x1, x2, …, xm) un m-uplet, où les indices i = 1, 2, …, m désignent des rangs (notion d’ordre).

La réponse au test est par définition un m-uplet de réponses aux m items du test. Pour habituer votre esprit à cet objet, vous pouvez jouer avec la valeur de m. Si le test comporte 20 items, la réponse au test est un 20-uplet (ce qui entraîne qu’il faut 20 places pour l’écrire). Si le test comporte 5 items, la réponse au test est un 5-uplet, etc.

2. Le nombre de m-uplets possibles

Quand on s’intéresse à un test, il faut pouvoir conceptualiser l’ensemble dans lequel se trouvent les observations qu’on peut faire. C’est l’ensemble de toutes les réponses possibles, autrement dit l’ensemble de tous les m-uplets possibles.

Beaucoup de gens, y compris des gens qui enseignent ou font de la recherche en psychologie, n’ont pas d’idée claire de ce qu’est un tel ensemble, ce qui est préjudiciable à leur réflexion parce que cet ensemble est une réalité logique fondamentale. On ne peut raisonner clairement si on ne sait pas sur quoi on raisonne, et, si la psychologie est une science empirique, c’est qu’on utilise une technique descriptive, de telle sorte qu’on raisonne sur l’ensemble des m-uplets possibles associés à cette technique descriptive (voir aussi l’article n° 18a).

Commençons par le cas le plus simple, un test à un item. Puisqu’on considère les réponses à un seul item, on cherche à se représenter (se faire une image de) l’ensemble de tous les 1-uplets possibles. Ici se trouve une chausse-trappe : on parle de 1-uplets, on retient le « 1 » dans sa tête et on déduit à tort qu’il y a un 1-uplet possible. Il faut savoir de quoi dépend le nombre de 1-uplets possibles. Le nombre de 1-uplets possibles est le nombre de réponses possible à cet item.

Si l’item est par exemple l’échelle analogique de douleur, il existe une infinité de points dans le segment [0 cm, 10 cm]. Donc il existe une infinité de 1-uplets possibles. Si l’item a deux réponses possibles (par exemple, l’item de calcul mental dont les réponses sont “incorrect” ou “correct”), il existe deux 1-uplets possibles. Si l’item est défini par k réponses possibles, il y a k 1-uplets possibles. Le nombre de m-uplets possibles n’est pas m.

Maintenant, considérons un test à deux items. On s’intéresse à l’ensemble des 2-uplets possibles. Ici, il faut combiner les réponses possibles au premier item avec les réponses possibles au second item. Le premier item a k1 réponses possibles et le second item a k2 réponses possibles. On procède de la manière suivante : on considère la première réponse possible au premier item, puis on considère les k2 réponses possibles au second item. On a donc k2 2-uplets possibles qui commencent par la première réponse au premier item. On passe ensuite à la seconde réponse possible au premier item, ce qui donne à nouveau k2 2-uplets possibles, qui commencent par la seconde réponse au premier item. On a donc 2 × k2 2-uplets possibles. On continue ainsi jusqu’à la k1ième réponse au premier item, ce qui donne k1 × k2 2-uplets possibles.

Généralisons : on considère un test de m items à  k1, k2, …, km réponses, respectivement. On a donc

k1 × k2 × … × km

m-uplets possibles.

Cas particulier : soit un test de m items à k modalités de réponse. On a k × k × … × k = km m-uplets possibles. Par exemple, un test de 20 items binaires génère un ensemble de 220 20-uplets possibles. Une seconde chausse-trappe mérite d’être signalée car beaucoup de gens s’y font piéger : le nombre de 20-uplets possibles n’est pas 202 !

Exercice non corrigé

Cite this article as: Stéphane Vautier, "20a. Les m-uplets et leur dénombrement", in Épistémologie de la psychologie, 21/06/2014, https://epistemo.hypotheses.org/1608.