Archives par étiquette : objectivité au sens faible

48a. Concordance de la notation des copies : une étude empirique

Dans quelle mesure les notes dépendent-elles des notateurs ?

Huit enseignants ont, indépendamment les uns des autres, noté un échantillon de 10 copies  prélevé dans les copies de 15 groupes d’étudiants en psychologie ayant composé pendant une séance de travaux dirigés.

Le sujet d’examen comportait 14 questions à format de réponse ouvert. Le barème de notation des réponses aux questions était dichotomique (0, 1 point) ou trichotomique (0 ; 0,5 ; 1 point). Deux types de questions étaient distingués selon le caractère bref vs. développé de la réponse attendue.

A l’échelle des notes composites (somme des points). Avec le barème dichotomique, l’écart entre la note maximale et la note minimale d’une copie quelconque est de 1 ou 2 points sur 14 points. Avec le barème trichotomique employé pour les questions à réponse développée, l’écart varie de 1 à 2,5 points sur 14. Par extrapolation linéaire, on ne peut exclure que la note sur 20 d’une copie quelconque varie dans un intervalle de 2,86 points (barème dichotomique) ou de 3,57 points (barèmes di- ou trichotmiques) selon les notateurs.

A l’échelle des notes élémentaires (points par question). La concordance interjuge des notes d’une réponse à une question quelconque peut être définie ou évaluée (exactement) sur une échelle de 0 à 100 % par la distance minimale qui sépare la distribution des notes des distributions concordantes possibles. Avec le barème (0, 1), la concordance des notations des réponses brèves vaut 94 % (sur 80 réponses, 75 cas ont été notés objectivement ; deux cas présentent un écart sensible à la concordance — distribution 5/3 ou 3/5) ; la concordance des notations des réponses à des questions à réponse développée de manière textuelle vaut 58 % (29 cas sur 50 ont été notés de manière concordante).

Conséquences pratiques. Le remplacement du format à réponse brève (e.g., vrai ou faux, valeur numérique) par des choix multiples supprime le problème de variabilité interjuge. La notation de verbatims ne peut pas être considérée comme ne posant pas de problème de variabilité interjuge. Lorsqu’une équipe pédagogique souhaite favoriser la production de textes dont la valeur est notée dans un barème numérique, elle doit décider si elle ignore ou pas la possibilité que les notes résultantes puissent varier d’un notateur à un autre dans une mesure d’environ trois points.

Deux exemples avec les distributions de notations.

Cite this article as: Stéphane Vautier, "48a. Concordance de la notation des copies : une étude empirique", in Épistémologie de la psychologie, 21/11/2017, https://epistemo.hypotheses.org/4774.

35a. Observations objectives vs. subjectives

A telle heure, Paul répond « non » à l’item « Je me sens fatigué(e) » ; beaucoup de gens, considérant qu’il s’agit d’une observation subjective, concluent que la vérité scientifique n’est pas à l’ordre du jour en psychologie, puisqu’il n’est question que de subjectivité (ou d’humain). C’est aller trop vite en besogne et le contre-sens méthodologique n’est pas loin. Dans ce billet, il s’agit de soutenir que l’énoncé d’observation

à telle heure, Paul a répondu « non » à cet item

est une observation objective1.

Certes, l’opacité de ce « non » doit être reconnue. Il faut supposer que pour répondre à l’item, Paul s’auto-considère, se regarde lui-même, se prend lui-même pour objet. Le vécu (pensées, émotions, sentiment de soi) de Paul ne peut être vécu par autrui. En prêtant attention à Paul, une tierce personne produit, du moins nous le supposons, des pensées, des émotions, un sentiment d’elle-même, qui incluent des cogitations sur ce que Paul peut ressentir. Je ne vois pas ce qui permet de comparer le vécu de Paul et le vécu que nous éprouvons quand nous nous intéressons au vécu de Paul, puisque précisément, on ne sait objectiver ces vécus, c’est-à-dire les abstraire des personnes qui en sont le siège, que par des mots (ou par d’autres formes de production comme le dessin, la musique, etc., mais alors ce n’est plus du langage à proprement parler)2.

Pour essayer d’établir ce à quoi « non » réfère chez Paul, faudrait-il revenir à l’introspection comme technique d’observation (e.g., Petitmengin & Bitbol, 2009 ; Silvia & Gendolla, 2001) ? Quoiqu’il en soit, on comprend la tentation de signaler l’indétermination référentielle du « non » de Paul par la locution « observation subjective » : on ne peut pas se substituer à Paul qui est l’unique observateur de son vécu.

Dans toutes les discussions concernant le problème du mesurage d’une grandeur psychologique, l’observateur est le psychologue. Et ce que le psychologue observe, c’est une réponse à un item de test — rien d’autre, il ne faut pas se laisser distraire, ici, par l’objection qui consiste à dire que pas du tout, le psychologue observe bien d’autres choses lorsqu’il fait passer le test ; il perçoit bien sûr bien d’autres choses, mais il ne les observe pas, au sens où une observation objective implique l’utilisation d’un langage descriptif donné (un référentiel de description).

Ce qui nous conduit à préciser en quoi une observation peut être objective (voir aussi 8a, 24a). Appelons P cette observation. P est objective pour un ensemble d’observateurs potentiels si quel que soit un observateur potentiel de cet ensemble, P est vraie pour lui dès qu’il observe (i) Paul en train de répondre ou bien (ii) la réponse de Paul — jugement de vérité qui est un jugement subjectif. Vous prenez n’importe qui, vous lui montrez la feuille de réponse de Paul et vous vérifiez qu’il affirme bien que la réponse à cet item est « non » (laquelle vérification est, inévitablement, subjective). L’objectivité, ici, n’est rien d’autre que l’espoir de l’interchangeabilité des sujets lorsqu’ils forment un jugement de vérité concernant un énoncé d’observation qui décrit un phénomène (qui se passe, mais qu’on ne saisit, pour l’activité scientifique, que par des propositions, des phrases, des énoncés). Pour éviter de confondre cette objectivité-là avec une idée absolue ou encore totalisante de l’objectivité, je parle d’objectivité au sens faible.

Autrement dit, l’objet de la connaissance objective est ici non pas ce que Paul a ressenti, mais ce qu’il a répondu. Si on se sert de sa réponse pour mesurer par exemple sa quantité de fatigue, cette quantité de fatigue est une fiction, un point de [0, max] (qu’on peut projeter dans ou sur le réel, mais cela n’est pas nécessaire, on peut très bien considérer qu’une théorie scientifique puisse ne pas correspondre totalement au réel3). Si on imagine qu’on mesure une quantité, se pose la question de la mesurabilité de la fatigue définie comme quantité, c’est-à-dire des conditions qui permettent de croire que la variation des réponses observées dépende de la variation de la quantité de fatigue (cf. 3a). L’important est que si on prétend mesurer la fatigue avec des réponses à un ou des items de fatigue, on soit lucide sur le fait que le vécu « fatigue » n’est logiquement pas pertinent parce que le vécu n’est pas une grandeur. Et si on s’intéresse au vécu ou encore au ressenti plutôt qu’à une quantité de grandeur, alors il  faut se poser la question des conditions de possibilité d’une connaissance objective de ce ressenti — vaste programme, qui ne relève pas, stricto sensu, du mesurage.

Références

Petitmengin, C., & Bitbol, M. (2009). The validity of first-person descriptions as authenticity and coherence. Journal of Consciousness Studies, 16, 363-404.

Silvia, P. J., & Gendolla, G. H. E. (2001). On the introspection and self-perception: Does self-focused attention enable accurate self-knowledge? Review of General Psychology, 5, 241-269.

  1. Au sens faible du terme, i.e., la vérité de cette observation n’est pas la Vérité absolue. []
  2. Partager l’idée d’un sentiment douloureux de solitude avec autrui ne change rien au fait que l’autre n’éprouve pas ce que nous éprouvons parce qu’il n’est pas nous. []
  3. Parce que nous faisons partie du réel et que nous ne pouvons pas être tout à la fois objet et sujet de l’appréhension de nous-mêmes — la partie qui appréhende n’étant pas simultanément appréhendée, ce qui entraîne qu’une partie du réel nous échappe nécessairement. []