Archives de catégorie : Citations

48a. Concordance de la notation des copies : une étude empirique

Dans quelle mesure les notes dépendent-elles des notateurs ?

Huit enseignants ont, indépendamment les uns des autres, noté un échantillon de 10 copies  prélevé dans les copies de 15 groupes d’étudiants en psychologie ayant composé pendant une séance de travaux dirigés.

Le sujet d’examen comportait 14 questions à format de réponse ouvert. Le barème de notation des réponses aux questions était dichotomique (0, 1 point) ou trichotomique (0 ; 0,5 ; 1 point). Deux types de questions étaient distingués selon le caractère bref vs. développé de la réponse attendue.

A l’échelle des notes composites. Avec le barème dichotomique, l’écart entre la note maximale et la note minimale d’une copie quelconque est de 1 ou 2 points sur 14 points. Avec le barème trichotomique employé pour les questions à réponse développée, l’écart varie de 1 à 2,5 points sur 14. Par extrapolation linéaire, on ne peut exclure que la note sur 20 d’une copie quelconque varie dans un intervalle de 2,86 points (barème dichotomique) ou de 3,57 points (barèmes di- ou trichotmiques) selon les notateurs.

A l’échelle des notes élémentaires. L’écart à la concordance interjuge des notes d’une réponse à une question quelconque peut être calculé par la distance minimale qui sépare la distribution des notes des distributions concordantes possibles. Avec le barème (0, 1), sur 80 réponses à des questions à réponse brève, 75 cas ont été notés objectivement (94 %) ; deux cas présentent un écart sensible à la concordance (distribution 5/3 ou 3/5). Sur 50 réponses à des questions à réponse développée de manière textuelle, 29 cas ont été notés de manière concordante (58 %).

Conséquences pratiques. Le remplacement du format à réponse brève (e.g., vrai ou faux, valeur numérique) par des choix multiples supprime le problème de variabilité interjuge. La notation de verbatims ne peut pas être considérée comme ne posant pas de problème de variabilité interjuge. Lorsqu’une équipe pédagogique souhaite favoriser la production de textes dont la valeur est notée dans un barème numérique, elle ne peut ignorer la possibilité que les notes résultantes puissent varier d’un notateur à un autre dans une mesure d’environ trois points.

Cite this article as: Stéphane Vautier, "48a. Concordance de la notation des copies : une étude empirique", in Épistémologie de la psychologie, 21/11/2017, https://epistemo.hypotheses.org/4774.

Statistiques et vérité selon Nico Hirtt

« On peut faire dire aux statistiques tout ce que l’on veut ». Jamais adage populaire n’aura été aussi éloigné de la réalité. Car les bonnes statistiques ne mentent jamais, si ce n’est par omission. En revanche, ceux qui les utilisent ou qui les produisent peuvent cacher, camoufler, déformer ce que disent les chiffres. Et ceux qui les lisent peuvent être bien crédules. (p. 5)

Hirtt, N. (2007). Déchiffrer le monde : contre-manuel de statistiques pour citoyens militants. Bruxelles : Éditions Aden.

Karl Popper sur la contradiction comme source de la connaissance

Pour autant que la science ou la connaissance puissent commencer quelque part, on peut dire ce qui suit : la connaissance ne commence pas par des perceptions ou des observations, par une collection de données ou de faits, mais bien par des problèmes. Pas de savoir sans problèmes — mais aussi pas de problème sans savoir. Ceci signifie que la connaissance commence par la tension entre savoir et non-savoir : pas de problème sans savoir — pas de problème sans non-savoir. Car tout problème surgit par la découverte que quelque chose dans notre savoir supposé n’est pas tout à fait en ordre; ou encore, en termes logiques, par la découverte d’une contradiction interne entre notre savoir supposé et les faits; ou, exprimé d’une façon peut être plus correcte encore, par la découverte d’une contradiction apparente entre notre savoir supposé et les faits supposés. (p. 76)

Popper, K. R. (1979). La logique des sciences sociales. In T. Adorno & K. Popper (Eds.). De Vienne à Francfort : la querelle allemande des sciences sociales (pp. 73-105). Bruxelles : Editions Complexes. (Original publié en allemand, 1969)

Voir aussi Darwin (1872/2001).

Dany Laveault et Jacques Grégoire sur la fin et les moyens en psychotechnique

La première question que doit se poser la personne désireuse de construire un test concerne les fonctions que ce dernier devra remplir. À quoi va-t-il servir ? Par exemple, un test de mathématique peut avoir pour fonction de sélectionner des sujets, de diagnostiquer des difficultés d’apprentissage ou encore de déterminer si un élève maîtrise les compétences attendues en fin d’année scolaire. De même, un questionnaire d’anxiété peut être utilisé pour recruter des personnes possédant certaines caractéristiques de personnalité ou pour évaluer l’effet d’un médicament anxiolytique. Le plus souvent, un même test ne peut remplir toutes ces fonctions. (p. 9)

Laveault, D. & Grégoire, D. (2002). Introduction aux théories des tests en psychologie et en sciences de l’éducation (2e éd.). Paris : De Boeck Université.

Albert Jacquard sur la différence entre « et » et « plus »

De toutes les erreurs enseignées par l’école, la plus désastreuse est sans doute contenue dans la phrase si souvent présentée comme le prototype des vérités premières : « Deux et deux font quatre, quatre et quatre font huit. » Apparemment, il s’agit là de mathématiques élémentaires ; pourtant, aucun mathématicien ne peut accepter une telle affirmation. (p. 138)

Être rigoureux, c’est d’abord essayer de proprement définir le sens des termes que l’on emploie. Remplacer le constat d’un lien, d’une interaction entre deux éléments du discours, par l’hypothèse qu’il s’agit d’une addition est le plus souvent une trahison de la réalité. (p. 139)

Jacquard, A. (1991). Voici le temps du monde fini. Paris : Seuil.

Karl Popper on probability statements

I characterise probability statements as derived hypotheses (or predictions) about sequence of events. (They do not establish any laws or predictions about the properties of individual events, but rather laws or predictions about the properties of sequences of events.) This constitues their distinguishing feature.

In order to underscore the fact that the special character of probability statements must also be deducible from the character of the assumptions, I have stressed that these statements are derived hypotheses. We can only appreciate that which is important about probability statements when we understand what typifies their assumptions.

The typical features of these assumtions are characterised: (1) by the fact that the assumptions known to us (natural laws and special conditions [« initial conditions »]) are not sufficient for the deduction of a prediction about an individual element in the sequence of events; (2) by the fact that we cannot formulate a law for the missing conditions; from this we infer the proposition that these randomly changing conditions partly compensate each other (if, as it were, a plurality of events gives them the opportunity of doing so); so that the sequence of events rather than its individual elements can be assumed to be partly independent « of the conditions about which we have no detailed knowledge ». (p. 151)

Popper, K. (2012). The two fundamental problems of the theory of knowledge. London: Routledge Classics. (Originally published 1978)

William Quine sur la prédiction

La prédiction est … l’anticipation conjecturale de données sensibles ultérieures venant confirmer une conclusion déjà tirée. Lorsqu’une prédiction est infirmée, ce que nous avons, c’est une stimulation sensorielle divergente et troublante, qui tend à inhiber cette conclusion passée déjà faite, et ainsi affaiblit les conditionnements de phrase à phrase qui conduisaient à cette prédiction. C’est ainsi que les théories dépérissent lorsque les prédictions faillissent.

Dans un cas extrême, la théorie peut consister en des connexions si fermement conditionnées entre phrases qu’elles résistent à l’échec d’une ou de deux prédictions. Nous nous trouvons excuser la faillite de nos prédictions comme le résultat d’une méprise dans l’observation, ou comme le résultat d’une interférence inexpliquée. Ainsi, dans un cas extrême, c’est la queue qui remue le chien. (p. 48)

Quine, W. V. A. (1977). Le mot et la chose. Paris : Flammarion. (Original publié en 1960)

Voir aussi Popper (1934/1973).

Karl Popper on falsification of probabilistic statements

If in ten throws [of a die] I obtain « 1 » six times, then I will conjecture that something is wrong with the probability prediction [P(1) = 1/6]; if, say, in the very next five throws I get « 1 » two of three times again, I will be convinced that the prediction (for this case), and with its specific assumptions, are falsified: I will try to change the assumptions. Initially, I will not change the natural laws but assume that certain other assumptions were false. Above all, I will examine whether the die is not « loaded » (whether the centre of gravity of this die is at its geometric centre, etc.). (p. 152)

Popper, K. (2012). The two fundamental problems of the theory of knowledge. London: Routledge Classics. (Originally published 1978)

Arnaud Dumouch sur dialectique versus coopération

Si j’entre dans une pensée dialectique, ça veut dire si, d’un côté, celui qui parle de l’esthétique — elle est jolie cette noix —, se met à mépriser le physicien qui dit « elle pèse tant de grammes », et bien en fait, c’est une pensée immature. Les deux approches donnent quelque chose de réel à la noix. Elles n’ont pas à se mépriser, elles ne se rejoignent que sur une seule donnée, c’est la même réalité qu’elles observent. (11:39)

Dumouch, A. (2012, 3 juillet). Annexe critique 2 : qu’est-ce que l’épistémologie ?