Archives par étiquette : notation scolaire

48a. Concordance de la notation des copies : une étude empirique

Dans quelle mesure les notes dépendent-elles des notateurs ?

Huit enseignants ont, indépendamment les uns des autres, noté un échantillon de 10 copies  prélevé dans les copies de 15 groupes d’étudiants en psychologie ayant composé pendant une séance de travaux dirigés.

Le sujet d’examen comportait 14 questions à format de réponse ouvert. Le barème de notation des réponses aux questions était dichotomique (0, 1 point) ou trichotomique (0 ; 0,5 ; 1 point). Deux types de questions étaient distingués selon le caractère bref vs. développé de la réponse attendue.

La réponse à la question peut être connue dans le référentiel, ou encore à l’échelle des scores ou à l’échelle de chaque item du questionnaire d’examen.

A l’échelle des notes composites (somme des points). Dans le cas du barème dichotomique, l’écart entre la note maximale et la note minimale d’une copie quelconque est de 1 ou 2 points sur 14 points. Lorsque le barème trichotomique est employé pour les questions à réponse développée, l’écart varie de 1 à 2,5 points sur 14. Par extrapolation linéaire, la note sur 20 d’une copie quelconque varie, selon les notateurs, dans un intervalle de 2,86 points (barème dichotomique) ou de 3,57 points (barèmes di- ou trichotmiques).

A l’échelle des notes élémentaires (points par question). La concordance interjuge des notes d’une réponse à une question quelconque peut être définie ou évaluée (exactement) sur une échelle de 0 à 100 % par la distance minimale qui sépare la distribution des notes des distributions concordantes possibles. Avec le barème (0, 1), la concordance des notations des réponses brèves vaut 94 % (sur 80 réponses, 75 cas ont été notés de manière concordante ; deux cas présentent un écart sensible à la concordance — distribution 5/3 ou 3/5) ; la concordance des notations des réponses à des questions à réponse développée de manière textuelle vaut 58 % (29 cas sur 50 ont été notés de manière concordante).

Conséquences pratiques. Le remplacement du format à réponse brève (e.g., vrai ou faux, valeur numérique) par des choix multiples supprime le problème de variabilité interjuge. La notation de verbatims ne peut pas être considérée comme ne posant pas de problème de variabilité interjuge. Lorsqu’une équipe pédagogique souhaite favoriser la production de textes dont la valeur est notée dans un barème numérique, elle doit décider si elle ignore ou pas la possibilité que les notes résultantes puissent varier d’un notateur à un autre dans une mesure d’environ trois points.

Deux exemples avec les distributions de notations.

Cite this article as: Stéphane Vautier, "48a. Concordance de la notation des copies : une étude empirique", in Épistémologie de la psychologie, 21/11/2017, https://epistemo.hypotheses.org/4774.

47a. Évaluation scolaire et excellence

Si on y réfléchit, on découvre que l’école de la cinquième république apprend à une grande majorité de ses élèves qu’ils ne sont pas excellents. C’est de mon point de vue une catastrophe psychologique et une perfidie sociale.

1. Les élèves, en grande majorité, ne sont pas excellents

L’école et l’université définissent l’excellence par les notes supérieures ou égales à 17/20. Dans sa carrière scolaire, de la sixième à la terminale, un élève est évalué environ 220 fois, si on admet qu’il est noté une fois par semaine et qu’une année scolaire comprend 32 semaines qui font 32 × 7 = 224 occasions d’être évalué.

Seule une minuscule minorité d’élèves est concernée par la possibilité de l’excellence, i.e., par la possibilité d’obtenir des notes constamment excellentes. Résultat, l’élève moyen n’est pas excellent. Le message est indolore, répétitif, objectif.

2. L’apprentissage de la non-excellence est une catastrophe psychologique

Un élève qui arrive à l’université a appris à ne pas exiger de lui-même l’excellence. Mais il y a pire : il a appris à ne pas prendre au sérieux la possibilité de surmonter l’obstacle que lui oppose le discours savant. Les mots et les phrases qui n’ont pas de sens pour lui ne sont pas des montagnes à gravir, dont il faudrait connaître la topologie pour apprendre à en atteindre les sommets, d’où embrasser un massif du regard ; les mots sont des éléments de discours qu’il faut manier en recherchant un verdict d’acceptabilité (il faut avoir au moins 10/20) — il s’agit d’être l’agent d’un transport. Or la dissémination d’un discours partout où il puisse être entendu nécessite des agents de transport et disséminer un discours n’est pas élaborer un discours — pouvoir d’élaboration qui devrait être un signe d’humanité.

La mise en question de la vérité du discours universitaire est une possibilité qui a presque disparu du monde des possibilités de l’étudiant-ancien-élève-du-lycée-collège, parce que mettre en question le discours académique, c’est explorer ; or il n’a aucune idée de ce que peut être une telle exploration du savoir — on appelle aussi cela “penser”. Il est même possible que l’étudiant ainsi scolairement préparé ait acquis la conviction que la vérité n’existe pas ou, s’il admet qu’elle existe, que son destin n’est pas de l’atteindre et alors pourquoi vouloir la chercher.

3. L’apprentissage de la non-excellence est une perfidie sociale

L’apprentissage de la non-excellence, qui consiste à accepter la normalité d’une position subordonnée dans l’échelle de valeurs de la valeur intellectuelle, a une fonction sociale : c’est que d’une part, l’élite, qui est définie par la possession du pouvoir, est une (minuscule) minorité et, d’autre part, qu’il faut bien qu’il existe une élite. CQFD : l’élève a appris qu’il n’a pas à revendiquer l’exercice du pouvoir parce qu’il n’appartient pas à la catégorie des gens excellents.

Il peut même cultiver l’idée que le pouvoir lui échappe à proportion de sa valeur, tout comme lui échappent la vérité et l’argent. Et comme il n’explore pas ce que sont le pouvoir, la vérité ou l’argent, il peut même se démontrer à lui-même que tout cela est en ordre.

4. À quoi et à qui doit servir l’École ?

Il ne s’agit pas de rejeter l’évaluation scolaire mais de réfléchir à l’utilité qu’on lui confère. Dans une société qui rend possible qu’aucun homme ne doive ses conditions minimales d’existence à l’aliénation de son “capital humain” (voir Laval, 2016) à un capitalisme qui s’est approprié l’argent, l’École pourrait servir à permettre à qui le souhaite de découvrir ce en quoi il excelle (pour le bonheur de l’humanité tout entière).

Voir aussi Salanskis (2009).

Cite this article as: Stéphane Vautier, "47a. Évaluation scolaire et excellence", in Épistémologie de la psychologie, 29/10/2017, https://epistemo.hypotheses.org/4738.