Archives par étiquette : format de réponse

48a. Concordance de la notation des copies : une étude empirique

Dans quelle mesure les notes dépendent-elles des notateurs ?

Huit enseignants ont, indépendamment les uns des autres, noté un échantillon de 10 copies  prélevé dans les copies de 15 groupes d’étudiants en psychologie ayant composé pendant une séance de travaux dirigés.

Le sujet d’examen comportait 14 questions à format de réponse ouvert. Le barème de notation des réponses aux questions était dichotomique (0, 1 point) ou trichotomique (0 ; 0,5 ; 1 point). Deux types de questions étaient distingués selon le caractère bref vs. développé de la réponse attendue.

La réponse à la question peut être connue dans le référentiel, ou encore à l’échelle des scores ou à l’échelle de chaque item du questionnaire d’examen.

A l’échelle des notes composites (somme des points). Dans le cas du barème dichotomique, l’écart entre la note maximale et la note minimale d’une copie quelconque est de 1 ou 2 points sur 14 points. Lorsque le barème trichotomique est employé pour les questions à réponse développée, l’écart varie de 1 à 2,5 points sur 14. Par extrapolation linéaire, la note sur 20 d’une copie quelconque varie, selon les notateurs, dans un intervalle de 2,86 points (barème dichotomique) ou de 3,57 points (barèmes di- ou trichotmiques).

A l’échelle des notes élémentaires (points par question). La concordance interjuge des notes d’une réponse à une question quelconque peut être définie ou évaluée (exactement) sur une échelle de 0 à 100 % par la distance minimale qui sépare la distribution des notes des distributions concordantes possibles. Avec le barème (0, 1), la concordance des notations des réponses brèves vaut 94 % (sur 80 réponses, 75 cas ont été notés de manière concordante ; deux cas présentent un écart sensible à la concordance — distribution 5/3 ou 3/5) ; la concordance des notations des réponses à des questions à réponse développée de manière textuelle vaut 58 % (29 cas sur 50 ont été notés de manière concordante).

Conséquences pratiques. Le remplacement du format à réponse brève (e.g., vrai ou faux, valeur numérique) par des choix multiples supprime le problème de variabilité interjuge. La notation de verbatims ne peut pas être considérée comme ne posant pas de problème de variabilité interjuge. Lorsqu’une équipe pédagogique souhaite favoriser la production de textes dont la valeur est notée dans un barème numérique, elle doit décider si elle ignore ou pas la possibilité que les notes résultantes puissent varier d’un notateur à un autre dans une mesure d’environ trois points.

Deux exemples avec les distributions de notations.

5a. Mesurer avec les réponses à un item : fonctions de mesurage

Comment les réponses à un item de test psychologique (plus proprement, psychotechnique) pourraient-elles mesurer une quantité de grandeur ?

1. Format de réponse : discret vs. continu

Précisons tout d’abord la notion de format de réponse. La réponse à un item psychotechnique a deux formats possibles : soit la réponse varie dans un ensemble discret, soit elle varie dans un ensemble continu.

Par exemple, si on décrit la réponse à l’item

23 + 9 = ?

comme correcte ou incorrecte, le format est discret. Si on demande à un patient d’indiquer (ce qu’on appelle) l’intensité de sa douleur sur l’échelle (dite analogique) ci-dessous,

eva_reglette

le format est continu : la réponse est décrite comme la distance qui sépare l’origine (0) du curseur de la réglette (source de l’image : SFETD).

2. Fonction de mesurage

Dans les deux cas, le problème est : comment la réponse dépend-elle de la quantité qu’on veut mesurer ? Appelons capacité de calcul mental la grandeur qui a inspiré l’item de calcul mental. Une réponse correcte à l’item de calcul mental indique une capacité plus grande que la capacité indiquée par une réponse incorrecte ; sur l’échelle analogique de douleur, plus le curseur se déplace vers la gauche (quand on regarde la “face de mesure”), plus la douleur augmente. La relation “plus une quantité augmente, plus autre chose, qui en dépend et qui se voit, augmente”, peut être formalisée par le concept mathématique de fonction.

Le format continu est peut-être plus intuitif pour saisir cette notion de fonction de mesurage. Qu’est-ce qui permet de dire que plus le curseur se déplace vers le 10, plus la douleur augmente ? C’est l’hypothèse que le positionnement du curseur par le patient dépend de la quantité de sa douleur : à tout point de [0, max], c’est-à-dire à toute quantité de douleur, correspond un et un seul point de [0 cm, 10 cm], c’est-à-dire du segment dans lequel varie le curseur.

On peut alors, par un petit effort de visualisation, considérer une courbe, représentative de la fonction de mesurage (voir 36a). La fonction est définie dans le segment [0, max] (ensemble de départ), où 0 correspond à “aucune douleur” et max correspond à la douleur maximale qui puisse exister ; elle prend ses valeurs dans le segment [0 cm, 10 cm] (ensemble d’arrivée). Cette fonction est croissante, c’est-à-dire que si on fait augmenter la douleur, on fait augmenter la distance du curseur. En langage mathématique,

q1 > q2 => F(q1) > F(q2),

q1, q2 désignent des quantités de douleur et F désigne la fonction qui détermine les distances correspondantes.

On ne connaît pas cette fonction et on a l’embarras du choix. On peut imaginer une courbe rectiligne, concave, ou encore convexe comme le montre la figure ci-dessous.

36a2

On ignore si une quantité d’augmentation donnée a les mêmes répercussions empiriques (i.e., observables sur la position du curseur) selon que cette augmentation survient quand la douleur est petite, moyenne, ou grande. Ainsi par exemple, on ignore si la variation de douleur qui correspond à la variation du curseur quand il passe de 1 à 2 cm est la même que la variation de douleur qui correspond à la variation du curseur quand il passe de 8 à 9 cm. On ignore si le patient qui signale 4 cm a deux fois plus mal que lorsqu’il signale 2 cm.

Le centimètre est une unité de longueur ; on admet que la longueur mesurée mesure une quantité de douleur, d’une manière ordinale (c’est-à-dire qu’on parle le langage du “plus ou moins”). Tant qu’on n’a pas trouvé quelle est la fonction dont on suppose l’existence pour tel ou tel patient, on ne pourra pas mesurer sa douleur de manière métrique (i.e., en se fondant sur une unité de douleur).

Récapitulons : qu’une échelle de douleur mesure la douleur signifie qu’on admet que la distance du curseur dépend de manière croissante de la quantité de douleur. Cette dépendance (ou relation causale) est conceptualisée par une fonction dont on ignore la nature exacte. J’appelle cette fonction une fonction de mesurage (ou encore de liaison). Notre ignorance scientifique implique que la mesure de la douleur, si tant est qu’elle soit plausible, n’est pas métrique mais ordinale. Ce n’est pas parce que le format de réponse a une métrique que le mesurage de la quantité psychologique qui nous intéresse est un mesurage métrique. Pour approfondir ce point, voir 36a.

Exercice non corrigé (pour voir les réponses antérieures saisissez votre réponse)

Revenons à l’item de calcul mental : quelle fonction relie la capacité de calcul mental à l’ensemble {incorrecte, correcte} ? Cette fois-ci, l’ensemble d’arrivée est un ensemble discret (et fini). Nous partons de l’idée qu’une réponse correcte indique une capacité supérieure. La seule façon de spécifier la fonction de mesurage de cet item est, encore une fois, de faire appel à une fonction croissante. Il faut que

q1 > q2 => F(q1) ≥ F(q2),

q1, q2 désignent des quantités de capacité et F désigne la fonction qui détermine les réponses correspondantes. On est obligé d’utiliser le signe “≥” parce que le nombre de réponses possibles est inférieur au nombre de quantités possibles. La fonction est croissante, mais pas strictement.

La courbe représentative de la fonction est un “escalier” à deux paliers, séparés par un seuil dont on ignore la valeur. Le graphique ci-dessous montre à quoi cela ressemble (pour une généralisation à k>2 réponses possibles, voir l’exercice 33a).

Paliers

Ainsi, les réponses à l’item désignent non pas des quantités de capacité, mais des intervalles de quantités de capacité — les réponses 0 et 1 désignent respectivement les intervalles [0, A[ et [A, max]. C’est pourquoi le codage numérique des réponses en 0/1 peut faire illusion : ces nombres ne sont pas des quantités mais des nombres ordinaux. L’addition, la soustraction, la multiplication et la division ne sont pas définies sur ces nombres.

La pratique courante consiste à compter le nombre de réponses correctes, mais ce comptage n’est pas une mesure de la capacité, c’est le comptage du nombre de réponses correctes (prises comme unité de compte). La question de savoir comment ce comptage pourrait mesurer une grandeur psychologique reste entière.

3. Activités proposées autour de cet article

3.1. Tracez une fonction de mesurage de la douleur telle qu’une augmentation donnée quand la douleur est petite “se voit plus” sur l’échelle de douleur que lorsque la douleur est déjà forte.

3.2. Considérez un thermomètre domestique. La valeur 0° indique-t-elle l’absence de température ? La température mesurée dans une pièce passe de 5 à 10° : a-t-elle doublé ? Tracez la fonction de mesurage invoquée pour interpréter les observations.

3.3. Considérez un pèse-bébé (une balance qui est graduée en grammes). La valeur 0 g indique-t-elle l’absence de masse sur la balance ? La masse mesurée sur la balance passe de 5 à 10 g lorsqu’on ajoute un puis deux objets : a-t-elle doublé ? Tracez la fonction de mesurage invoquée pour interpréter les observations.

3.4. Voir 33a et 36a.