… les phrases observationnelles … sont précisément ces phrases occasionnelles sur lesquelles il est à peu près certain qu’il y aura un ferme accord de la part de tous les observateurs bien placés. Ainsi ce sont précisément les phrases sur lesquelles l’homme de science cherchera à se replier lorsqu’il sera pressé par le doute de ses collègues. (p. 80)
Quine, W. V. A. (1977). Le mot et la chose. Paris : Flammarion. (Original publié en 1960)
Dans quelle mesure les notes dépendent-elles des notateurs ?
Huit enseignants ont, indépendamment les uns des autres, noté un échantillon de 10 copies prélevé dans les copies de 15 groupes d’étudiants en psychologie ayant composé pendant une séance de travaux dirigés.
Le sujet d’examen comportait 14 questions à format de réponse ouvert. Le barème de notation des réponses aux questions était dichotomique (0, 1 point) ou trichotomique (0 ; 0,5 ; 1 point). Deux types de questions étaient distingués selon le caractère bref vs. développé de la réponse attendue.
La réponse à la question peut être connue dans le référentiel, ou encore à l’échelle des scores ou à l’échelle de chaque item du questionnaire d’examen.
A l’échelle des notes composites (somme des points). Dans le cas du barème dichotomique, l’écart entre la note maximale et la note minimale d’une copie quelconque est de 1 ou 2 points sur 14 points. Lorsque le barème trichotomique est employé pour les questions à réponse développée, l’écart varie de 1 à 2,5 points sur 14. Par extrapolation linéaire, la note sur 20 d’une copie quelconque varie, selon les notateurs, dans un intervalle de 2,86 points (barème dichotomique) ou de 3,57 points (barèmes di- ou trichotmiques).
A l’échelle des notes élémentaires (points par question). La concordance interjuge des notes d’une réponse à une question quelconque peut être définie ou évaluée (exactement) sur une échelle de 0 à 100 % par la distance minimale qui sépare la distribution des notes des distributions concordantes possibles. Avec le barème (0, 1), la concordance des notations des réponses brèves vaut 94 % (sur 80 réponses, 75 cas ont été notés de manière concordante ; deux cas présentent un écart sensible à la concordance — distribution 5/3 ou 3/5) ; la concordance des notations des réponses à des questions à réponse développée de manière textuelle vaut 58 % (29 cas sur 50 ont été notés de manière concordante).
Conséquences pratiques. Le remplacement du format à réponse brève (e.g., vrai ou faux, valeur numérique) par des choix multiples supprime le problème de variabilité interjuge. La notation de verbatims ne peut pas être considérée comme ne posant pas de problème de variabilité interjuge. Lorsqu’une équipe pédagogique souhaite favoriser la production de textes dont la valeur est notée dans un barème numérique, elle doit décider si elle ignore ou pas la possibilité que les notes résultantes puissent varier d’un notateur à un autre dans une mesure d’environ trois points.
Deux exemples avec les distributions de notations.
Deux juges décrivant séparément la même unité d’observation peuvent produire des descriptions différentes, auquel-cas les juges ne sont pas interchangeables. Comment les observateurs procèdent-ils pour former leurs descriptions ? Quelles informations ont-ils utilisées ? Comment les ont-ils agrégées ? Ont-ils agrégé des informations différentes ? Ont-ils agrégé les mêmes informations mais selon des modes d’agrégation différents ? Ces questions relèvent d’une théorie de la description.
Le présent billet est une charge contre le conformisme socio-technique en psychologie qui, ici, prend une forme particulière : face au fait que deux observateurs produisent des descriptions différentes du même phénomène, la solution se trouverait dans le kappa de Cohen. Cette statistique est quasiment obligatoire en recherche : si vous rapportez les résultats d’une étude qui utilise des observations dont l’objectivité est douteuse, vous devez exhiber un kappa de Cohen. D’où l’obligation de former les étudiants en psychologie (mais aussi en médecine) à l’utilisation du kappa de Cohen et, lorsque le design “deux juges – un item dichotomique (à deux réponses)” se complique, une surenchère statistico-technique (voir par exemple Falissard, 2008, pp. 91-95) pour montrer qu’on s’ingénie… à résoudre des problèmes qui ne sont pas les bons. Bilan éducatif : on forme de futurs agents socio-techniques, pas des intellectuels, par :
1. Cas d’école
Falissard (2008, p. 88) propose l’exemple numérique suivant, que je vais adapter à ma guise :
Les codes 0 et 1 sont deux valeurs descriptives (ou encore deux réponses possibles). Les deux cliniciens ont décrit 19 cas, dont la répartition est indiquée dans ce qu’on appelle une table de contingence. Les nombres 7, 1, 2 et 9 sont des effectifs conjoints.
On constate trois différences de description : un cas est décrit 1 par le Clinicien 2 et 0 par le Clinicien 1, deux cas sont décrits 0 par le Clinicien 2 et 1 par le Clinicien 1. Soit une proportion de 3/19 = 16 % de désaccords. Conclusion : ces trois cas ne sont pas des unités d’observation exploitables puisque leur description change en fonction du juge. Le problème consiste à éliminer dans le futur les discordances, et on peut s’y atteler en travaillant sur la manière dont les cliniciens choisissent entre 0 et 1.
Dans cette perspective, 1 % de désaccords, c’est embêtant mais c’est mieux que 2 %. Et ainsi de suite jusqu’à ce qu’un consensus se dégage par la pratique collective. Si tous les chercheurs concernés font face à des désaccords de l’ordre de 20 %, on finira par dire que 30 %, ce n’est pas acceptable, mais qu’au-dessous de 20 %, les données seront d’une qualité acceptable — voir la même forme d’argumentation à propos de la falsification du modèle de Guttman.
D’où le faux problème : comment mesurer correctement la qualité, ou encore, la précision des données ? Réponse : avec le kappa de Cohen. Le problème est un faux problème parce que les 38 descriptions sont on ne peut plus précises — puisqu’elles sont faites dans un format de réponse discret (voir 7a). C’est pourquoi le nombre des désaccords observés est connu avec une précision parfaite.
2. Les probabilités à la rescousse
Il se peut que des accords surviennent par hasard et on va corriger le pourcentage d’accords en tenant compte de cette possibilité. Deux remarques. (1) Il ne s’agit pas d’agir sur la manière dont les juges décrivent les unités d’observation, quitte à améliorer le langage de la description, mais sur la manière dont on “mesure” la “qualité” ou la “précision” des données. (2) Pourquoi donc les juges devraient-ils répondre au hasard ? Le hasard consiste dans l’hypothèse (nulle) d’indépendance (stochastique) de deux variables aléatoires. Mais quelle est la pertinence de l’hypothèse nulle ? Les juges ne sont pas des variables aléatoires. Leurs jugements sont expérimentalement indépendants, c’est-à-dire qu’ils ne s’influencent pas mutuellement. Personne ne soutient que les juges fonctionnent comme un couple de variables aléatoires indépendantes.
Qu’importe, il faut modéliser. On va calculer la probabilité d’un événement de concordance comme si les deux juges fonctionnaient comme des variables indépendantes, et soustraire cette probabilité à la probabilité qu’on a calculée sans penser à cette possibilité. Mais, voudrait-on objecter, pas du tout ! Personne ne prétend avoir calculé une probabilité, il s’agit d’une proportion de désaccords, 3/19, pas d’une probabilité. Qu’importe encore, probabilité, proportion, fréquence, c’est pareil… L’étudiant docile n’osera pas remarquer qu’on passe allègrement du comptage empirique des cas de désaccord à la modélisation probabiliste d’événements définis dans un espace probabilisé dont le statut théorique est… vacant, et il ne le pourra pas s’il n’a aucune idée de ce qu’il faut pour définir mathématiquement la probabilité d’un événement.
Les probabilités des cellules de la table de contingence sont calculées en admettant qu’on connaisse les probabilités marginales. On les ignore. On connaît les fréquences marginales calculées en fonction des données. Ainsi, la probabilité des jugements conjoints est, par hypothèse, le produit des probabilités de chaque jugement. Le résultat des calculs est indiqué ci-dessous :
On arrive à cette proposition que la probabilité de la concordance des deux juges est égale à 0.199 + 0.305 = 0.504. Très fort ! Ce n’est pas fini. La proportion d’accords est égale à 16/19 = 0.842 (ce qui est mieux que 0.504 mais personne n’en doutait, le contraire eut été surprenant). La formule du kappa est la suivante :
kappa = (0.842 – 0.504)/(1 – 0.504) = 0.681.
Voici donc la proportion d’accords, qui valait presque 85 %, savamment et sévèrement corrigée, puisqu’on arrive à 68 %. A-t-on résolu quelque chose ? Rien, puisque le problème est que la proportion d’accords n’est pas égale à 1. Si la proportion est égale à 1, le kappa ne sert à rien car
(1 – n’importe quoi)/(1 – n’importe quoi) = 1,
avec n’importe quoi non égal à 1.
Cerise sur le gâteau, on n’oubliera pas, en rapportant le kappa de Cohen, d’indiquer son intervalle de confiance à 90 ou 95 %… cela fera meilleure impression dans l’esprit de l’éditeur et des experts qui évalueront le “papier”.
Référence
Falissard, B. (2008). Mesurer la subjectivité en santé : perspective méthodologique et statistique. Paris: Masson.
