48a. Concordance de la notation des copies : une étude empirique

Dans quelle mesure les notes dépendent-elles des notateurs ?

Huit enseignants ont, indépendamment les uns des autres, noté un échantillon de 10 copies  prélevé dans les copies de 15 groupes d’étudiants en psychologie ayant composé pendant une séance de travaux dirigés.

Le sujet d’examen comportait 14 questions à format de réponse ouvert. Le barème de notation des réponses aux questions était dichotomique (0, 1 point) ou trichotomique (0 ; 0,5 ; 1 point). Deux types de questions étaient distingués selon le caractère bref vs. développé de la réponse attendue.

A l’échelle des notes composites (somme des points). Avec le barème dichotomique, l’écart entre la note maximale et la note minimale d’une copie quelconque est de 1 ou 2 points sur 14 points. Avec le barème trichotomique employé pour les questions à réponse développée, l’écart varie de 1 à 2,5 points sur 14. Par extrapolation linéaire, on ne peut exclure que la note sur 20 d’une copie quelconque varie dans un intervalle de 2,86 points (barème dichotomique) ou de 3,57 points (barèmes di- ou trichotmiques) selon les notateurs.

A l’échelle des notes élémentaires (points par question). La concordance interjuge des notes d’une réponse à une question quelconque peut être définie ou évaluée (exactement) sur une échelle de 0 à 100 % par la distance minimale qui sépare la distribution des notes des distributions concordantes possibles. Avec le barème (0, 1), la concordance des notations des réponses brèves vaut 94 % (sur 80 réponses, 75 cas ont été notés objectivement ; deux cas présentent un écart sensible à la concordance — distribution 5/3 ou 3/5) ; la concordance des notations des réponses à des questions à réponse développée de manière textuelle vaut 58 % (29 cas sur 50 ont été notés de manière concordante).

Conséquences pratiques. Le remplacement du format à réponse brève (e.g., vrai ou faux, valeur numérique) par des choix multiples supprime le problème de variabilité interjuge. La notation de verbatims ne peut pas être considérée comme ne posant pas de problème de variabilité interjuge. Lorsqu’une équipe pédagogique souhaite favoriser la production de textes dont la valeur est notée dans un barème numérique, elle doit décider si elle ignore ou pas la possibilité que les notes résultantes puissent varier d’un notateur à un autre dans une mesure d’environ trois points.

Deux exemples avec les distributions de notations.

Cite this article as: Stéphane Vautier, "48a. Concordance de la notation des copies : une étude empirique", in Épistémologie de la psychologie, 21/11/2017, https://epistemo.hypotheses.org/4774.


Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.