Deux tests sont supposés mesurer la même grandeur. Par exemple, deux échelles d’anxiété mesurent l’anxiété, deux tests de facteur g mesurent le facteur g (intelligence dite générale). La doctrine de la validation des tests propose un critère de validation fondé sur ce qui est appelé la validité concourante (ou encore, convergente) des tests. La performance rhétorique accomplie est remarquable : les tests, conçus comme instruments, sont dotés d’une propriété, qu’on qualifiera de “psychométrique”. Cette “propriété psychométrique” se mesure avec la corrélation des scores aux deux tests — ce qui montre la confusion entre “test” et “score”, variable définie en partie en référence à ce test. L’usage veut que la validité concourante soit jugée “satisfaisante” si elle est supérieure à 0,70.

Si une corrélation supérieure à 0.70 suffit pour déduire que les deux tests appliqués à la même unité d’observation mesurent toujours la même quantité de la même grandeur, cet article montre que ce critère de validation est faux. Si, pour sauver la grandeur, on concède que la quantité mesurée par chaque test n’est pas la même, la corrélation des scores n’a plus de pertinence. Si on se retranche sur une interprétation du genre “on peut faire une confiance modérée dans les scores”, les conclusions comparatives qu’on va tirer sont logiquement invalides (c’est le côté fumeux de la doctrine de la validation des tests, voir Borsboom et al., 2009).

1. Corrélation (linéaire)

Pour s’en rendre compte, commençons par ce qu’est une corrélation en étudiant quelques exemples concrets, à commencer par celui qui est présenté graphiquement ci-dessous. J’ai simulé un échantillon aléatoire de 10 personnes ayant passé, dans la foulée, les tests X et Y, dans un ordre quelconque. Les tests sont composés d’items dont le format de réponse est une échelle de Likert de -3 à +3 points, ce qui fait qu’on peut avoir des scores négatifs. Chaque personne est représentée sur le graphique par un losange. La corrélation vaut 0,702 et on voit nettement que les losanges ne sont pas alignés.

Plus la corrélation s’approche de 1, plus les points (losanges) sont rectilignes. La corrélation du nuage de points ci-dessous vaut 0,998. Remarque 1. Si les points sont rectilignes, on peut les ordonner en se donnant un “bas” et un “haut”. On obtient un ordre simple parce que deux points distincts quelconques sont comparables : l’un se trouve plus bas que l’autre. Il faut bien voir que les points vert et noir du premier graphique ne peuvent pas être ordonnés par rapport à l’axe du nuage de points : on ne peut pas soutenir que l’un est plus bas que l’autre ; ils sont incomparables. Donc l’ordre qu’on peut définir sur ce nuage de points n’est pas simple (c’est un ordre partiel). Il est impossible d’utiliser les points comme positions d’une échelle ordinale.

Remarque 2 (technique et falcultative). La corrélation mesure le degré d’alignement rectiligne des points parce que (i) c’est une covariance réduite (i.e., divisée par le produit des écarts types) et que (ii) la corrélation est maximisée si et seulement si les variables sont reliées par une fonction affine positive (il existe a et b > 0 tels que Y = a + bX).

Par définition,

corrélation(X, Y) = covariance(X, Y)/[écart type(X) × écart type(Y)],

où X et Y sont un couple de variables. Dans le cas où la population sur laquelle ce couple est défini est finie, la covariance des deux variables est la moyenne des produits des écarts à la moyenne, c’est-à-dire des termes (x_i – m_x)(y_i – m_y), où i indexe l’unité d’observation et m_x désigne la moyenne de X. L’écart type d’une variable est la racine carrée de sa variance et la variance d’une variable est la covariance de cette variable avec elle-même. Dans le cas où la population est infinie, voir un cours de statistique sur les moments d’une variable aléatoire réelle. Si les deux variables sont liées positivement de manière affine, il existe un réel strictement positif b tel que

Y = a + bX.

D’après les règles de l’algèbre (voir par exemple Allaire, 1998), covariance(X, a + bX) = b var(X) et var(a + bX) = b² var(X). D’où, en remplaçant les termes,

corrélation(X, Y) = covariance(X, a + bX)/[écart type(X) × écart type(a + bX)]
= b var(X)/{racine[var(X)] × racine[var(a + bX)]}
= b var(X)/racine[var(X) × var(a + bX)]
= b var(X)/racine[var(X) × b² var(X)]
= b var(X)/b var(X)
= 1.

Réciproquement : la valeur maximale d’une corrélation est 1 et quand la corrélation vaut 1, cela entraîne que les deux variables sont positivement affines.

La covariance du couple (X, Y) ne peut pas être plus grande que le produit des écarts types. En effet, il existe les réels a, b et la variable résiduelle Z tels que Y = a + bX + Z, avec cov(X, Z) = 0 (il suffit pour s’en convaincre de considérer que les variables X et Y sont des vecteurs de même origine, et d’exprimer le vecteur Y comme la somme de deux vecteurs, l’un qui est aligné au vecteur X, l’autre, Z, qui est à angle droit de X). Il s’ensuit que

cov(X, Y) = cov(X, a + bX + Z) = b var(X) + 0 = b var(X).

D’autre part, var(Y) = var(a + bX + Z) = b² var(X) + var(Z). Finalement,

corr(X, Y) = b var(X)/{racine[var(X)] × racine[b² var(X) + var(Z)]}
= b var(X)/racine{var(X)] × [b² var(X) + var(Z)]}
= b var(X)/racine{[b var(X)]² + var(X) × var(Z)]}.

Comme b var(X) ≤ racine{[b var(X)]² + var(X) × var(Z)]} car var(X) × var(Z) ≥ 0, la corrélation ne peut pas dépasser 1. Si elle vaut 1, alors var(Z) = 0 et b > 0, ce qui signifie que Y et X sont reliés par une relation affine positive (Y = a + bX).

2. Corrélation imparfaite et incomparabilité

Le phénomène remarquable que décrit une corrélation positive strictement inférieure à 1 est que les points ne sont pas rectilignes. S’ils ne sont pas rectilignes, on ne peut pas exclure que deux points distincts soient incomparables (comme les points vert et bleu du premier graphique). Que signifie l’incomparabilité du point de vue du mesurage (défini dans 3a) ?

Prenons un exemple dans la vie pratique, en considérant non pas deux tests mesurant une grandeur psychologique chez deux personnes mais deux thermomètres mesurant la température extérieure à deux moments de la journée. Si le premier indique une hausse tandis que le second indique une baisse de température, ou l’inverse — deux 2-uplets incomparables —, on a un problème. Au moins un des deux thermomètres ne fonctionne pas correctement et on regarde les données avec scepticisme : on ne les qualifie pas comme données, donc on ne les traite pas.

Si on appliquait le critère de validation concourante à ces thermomètres, on exigerait que les relevés effectués sur un échantillon de moments différents corrèlent à au moins 0,70. Donc on accepterait une certaine quantité de 2-uplets incomparables dans les données. Le critère de validation concourante est faux : si les deux instruments ne mesurent pas toujours la température et si on ne sait pas faire en sorte qu’ils marchent quand on a besoin qu’ils marchent, il vaut mieux ne pas les utiliser (cf. les deux premières remarques de 3a) .

Le lecteur peut télécharger un fichier Excel qui permet de compter les anomalies (paires de 2-uplets incomparables) sur un échantillon de dix unités d’observations, selon la valeur qu’il donne à la corrélation des scores aux deux tests, en la choisissant dans ]0, 1[. Voici un exemple commenté.

On veut voir ce qui se passe avec une corrélation théorique (celle qui existe au plan de la population d’une infinité d’unités d’observations) de 0,90 ; on indique la corrélation souhaitée en saisissant “.9” dans la cellule (I, 1) de la feuille de calcul (ou bien il faut remplacer le point de la notation américaine par une virgule). Les scores d’un échantillon aléatoire de 10 personnes sont générés dans les colonnes X et Y (pour des détails sur la simulation, me demander en envoyant un commentaire). La corrélation empirique est calculée dans la cellule (I, 4) de la feuille de calcul : 0,814.

Le plus intéressant à mes yeux, c’est le nombre de situations incohérentes. Avec 10 personnes, on a (10 × 10 − 10)/2 = 45 paires possibles formées par des personnes distinctes. Ces paires sont représentées dans la matrice ci-dessous. Les cellules du triangle du bas sont programmées pour afficher 0 si les 2-uplets sont comparables et 1 si les 2-uplets sont incomparables. Le nombre de 1 divisé par 45 et multiplié par 100 est le pourcentage d’anomalies. Ce pourcentage est calculé dans la cellule (I, 6) de la feuille de calcul  : 16 % (voir la capture d’écran ci-dessus).

La feuille de calcul génère de nouvelles données à chaque fois qu’on appuie sur la touche f9 du clavier. Même des corrélations jugées très élevées en psychologie, i.e., supérieures à 0,90, permettent une quantité non négligeable d’anomalies, c’est-à-dire de situations où il est impossible de décider laquelle des deux unités d’observation possède le plus de quantité au vu des scores.

3. Tautologie ou invalidité logique

Pour sauver le mythe “les deux tests mesurent la même grandeur”, on peut argumenter de deux manières. La première, hétérodoxe du point de vue de la doctrine de la validation des tests, consiste à proposer deux conventions (cf. l’article 9a) : (i) un score au test X mesure ordinalement la quantité de grandeur d’une unité d’observation (u, t) ; un score au test Y mesure ordinalement la quantité de grandeur d’une unité d’observation (u, t’). Comme la passation des tests X et Y par la personne u ne peut pas être faite au même moment (t et t‘ ne se recouvrent pas), rien n’interdit d’observer des 2-uplets incomparables si rien n’interdit la variation de la quantité mesurée entre t et t’.

Détaillons avec l’exemple des points vert et noir du premier graphique. Le point vert, de coordonnées (-7, -4), correspond à la personne u₁₀. On a X(u₁₀, t₁) = -7 et Y(u₁₀, t’₁) = -4. Le point noir, de coordonnées (2, -15), correspond à la personne u₃. On a X(u₃, t₂) = -2 et Y(u₃, t’₂) = -15. Comme les moments du mesurage sont distincts, rien n’empêche que u₁₀ ait eu moins de quantité de la grandeur à t₁ que n’en n’avait u₃ à t₂ (-7 < -2), ni que u₁₀ ait eu plus de quantité de cette grandeur à t’₁ que n’en avait u₃ à t’₂ (-4 > -15). Sans la convention, selon laquelle la quantité de grandeur ne varie pas entre t et t’ (convention C de 9a), tout ce qui précède est infalsifiable. C’est vrai par convention, ou encore, c’est tautologique. Dans cette perspective, la validation concourante n’a plus de sens, puisqu’il n’y a pas de raison de s’attendre à une corrélation élevée entre les deux séries de scores : les tests mesurent la même grandeur, pas la même quantité de cette grandeur.

L’autre argumentation est orthodoxe et psychométrique. Les scores aux tests X et Y mesurent des scores vrais, mais avec une erreur de mesure. En général, c’est la théorie classique des tests qui est convoquée. Le problème est qu’un score vrai n’est pas une quantité de grandeur. On pourra supposer qu’un score x mesure un score vrai relié de manière positive et affine à la quantité q et qu’un score y mesure un score vrai relié de manière positive et affine au score vrai mesuré par x, soit :

-7 = τ(u₁₀) + e(u₁₀, X)
– 4 = a + bτ(u₁₀) + e(u₁₀, Y)
2 = τ(u₃) + e(u₃, X)
– 15 = a + bτ(u₃) + e(u₃, Y),

c’est-à-dire une équation à six inconnues (quatre erreurs de mesure et deux scores vrais) pour quatre données.

Conclusion : impossible de déduire quoi que ce soit sur les scores vrais de u₃ et de u₁₀. En d’autres termes, toute comparaison des scores vrais est, du point de vue de la théorie classique des tests, logiquement invalide. Je ne détaille pas ce qui se passe si on  invoque un modèle de réponse à l’item, la conclusion est la même (voir quand même l’article 22a). Dire que les tests mesurent approximativement une quantité de grandeur sans préciser que cette approximation empêche toute comparaison logiquement valide est une curieuse façon de parler. Elle sous-entend qu’on accepte d’utiliser les scores de manière logiquement invalide.

Référence

Allaire, D. (1998). Comprendre la statistique. Manuel d’autoformation. Volume 1. Québec: Presses Universitaires du Québec.