12a. Deux juges décrivent l’état de 19 personnes mais ne mesurent rien

Cet article illustre la différence entre scorer et mesurer, développée de manière générale dans Scorage vs. mesurage, à partir de l’exemple de données proposé par Bruno Falissard (2008) pour présenter le kappa de Cohen. On suppose que deux juges évaluent séparément, en termes de réussite ou d’échec, la manière dont 19 personnes réagissent à un test, dans le but de mesurer la compétence de ces personnes sur l’échelle de scores (0, 1, 2) — 0 si les deux juges “mettent” 0, 1 si un seul juge “met”1, 2 si les deux juges “mettent” 1. La table de contingence est reproduite ci-dessous.

kappa

L’argument consiste en deux points. (1) Les scores, qui sont obtenus en sommant les valeurs numériques qui codent les évaluations des juges (0 pour échec, 1 pour réussite), puisent leur signification non pas dans une opération additive mais dans la convention évaluative suivante : deux jugements de réussite valent mieux qu’un seul qui vaut mieux que zéro — on additionne des unités de valeur, c’est-à-dire des institutions sociales. (2) Comme tous les 2-uplets possibles sont observés, les observations effectuées ne sont pas simplement ordonnées. Par conséquent, les données ne peuvent pas être utilisées comme mesures ordinales de la compétence des personnes — la compétence étant considérée comme grandeur théorique qui déterminerait les jugements. En conclusion, les scores ne sont pas des mesures mais des jugements de valeur.

1. L’application de scorage AX

L’ensemble de départ de X (la description) est l’ensemble des 19 unités d’observation. Son ensemble d’arrivée est l’ensemble des quatre 2-uplets possibles, à savoir D = {00, 01, 10, 11}. Un 2-uplet indique le jugement du premier juge puis le jugement du second juge. En inspectant la table de contingence, on voit que 00 a neuf antécédents (ou bien, neuf unités d’observation ont pour image 00), 01 a un antécédent, 10 a deux antécédents, et 11 a sept antécédents.

L’application d’agrégation A attribue à tout 2-uplet la somme des nombres dont ils sont composés. Ainsi, le score de 1 point agrège 01 et 10. Remarquons que cette somme n’a pas de signification empirique, puisque “échec + réussite = réussite” n’a pas plus de sens que “réussite + échec = réussite”. On confond ici deux opérations logiquement distinctes, à savoir l’addition (+) et la conjonction (et) : “et” n’est pas “+” et réciproquement. La hiérarchisation des valeurs qui est ainsi opérée est conventionnelle. Ainsi, la composition de la description et du scorage, AX, attribue un niveau de valeur à toute unité d’observation dans une échelle à trois niveaux.

2. Pourquoi les descriptions ne sont pas des mesures

Un raisonnement par l’absurde permet de montrer que ces descriptions ne sont pas des mesures ordinales de quantités de compétence que possèderaient les 19 unités d’observation. Le principe du raisonnement par l’absurde consiste à tirer les conséquences de l’hypothèse qu’on veut falsifier, en montrant que ces conséquences sont fausses. Si A implique B et si non-B est vrai, alors non-A est vrai (et A faux).

Supposons, comme on l’a fait précédemment, que les deux juges mesurent la quantité de compétence Q(ω) de toute unité d’observation ω en observant comment elle réagit au test. Alors les jugements d’échec ou de réussite dépendent d’une fonction de mesurage qui les caractérise l’un et l’autre. Appelons ces fonctions F1 et F2 ; ce sont des fonctions par palier croissantes (voir Mesurer avec les réponses à un item, en remplaçant “item” par “juge”).

Considérons deux unités d’observation ω1 et ω2 telles que X(ω1) = 01 et X(ω2) = 10 (les deux 2-uplets sont incomparables). Il existe trois possibilités quantitatives :

  • Q(ω1) = Q(ω2), auquel cas F1[Q(ω1)] = F1[Q(ω2)] et F2[Q(ω1)] = F2[Q(ω2)], ce qui se note aussi F[Q(ω1)] = F[Q(ω2)] avec F = F1F2. Dans ce cas, X n’est pas FQ puisque X(ω1) ≠ X(ω2).
  • Q(ω1) > Q(ω2), auquel cas F1[Q(ω1)] ≥ F1[Q(ω2)] et F2[Q(ω1)] ≥ F2[Q(ω2)]. Dans ce cas, X n’est pas FQ puisque F1Q n’est pas X1 car X1(ω1) < X1(ω2).
  • Q(ω1) < Q(ω2), auquel cas F1[Q(ω1)] ≤ F1[Q(ω2)] et F2[Q(ω1)] ≤ F2[Q(ω2)]. Dans ce cas, X n’est pas FQ puisque F2Q n’est pas X2 car X2(ω1) > X2(ω2).

En conclusion, les observations contredisent l’hypothèse d’un processus de mesurage (ou de l’existence d’une fonction de mesurage). En d’autres termes, les descriptions incomparables 01 et 10 ne peuvent pas être expliquées par un mesurage.

3. Remarque sur les désaccords inter-juges

Dans la perspective du mesurage, les désaccords inter-juges sont possibles mais restreints : leurs descriptions ne doivent pas permettre l’observation d’états incomparables.

Référence

Falissard, B. (2008). Mesurer la subjectivité en santé : perspective méthodologique et statistique. Paris: Masson.


6 réflexions sur « 12a. Deux juges décrivent l’état de 19 personnes mais ne mesurent rien »

  1. perrin pelletier

    Bonjour,
    Que signifie “à 3 niveaux” dans la phrase : Ainsi, la composition de la description et du scorage, A ○ X, attribue un niveau de valeur à toute unité d’observation dans une échelle à trois niveaux. ?

    Répondre
    1. Stéphane Vautier

      Le premier niveau est le score 0 (qui agrège le 2-uplet 00) ; le second niveau est le score 1 (qui agrège 01 et 10) ; le troisième niveau est le score 2 (qui agrège 11).

      Répondre
  2. Fontaine Maylis

    Cet article démontre “mathématiquement” que les descriptions ne sont pas des mesures. Toutefois, ne peut-on pas (logiquement et sans démonstration mathématique) dire d’entrée de jeu qu’il ne s’agit pas de mesures, tout simplement parce que si tel était le cas, les deux juges auraient les mêmes jugements? Si on demande à plusieurs personnes combien font 1+1 elles répondront toutes 2. Si les juges ne donnent pas les mêmes réponses, c’est qu’à la base leur jugement ne porte pas sur quelque chose d’objectivement mesurable mais sur la description subjective d’une réponse tout aussi subjective…

    Répondre
    1. Stéphane Vautier

      Non parce que les deux juges peuvent fonctionner selon des fonctions de mesurage dont les seuils ne sont pas égaux. Par exemple, un juge déciderait de donner la valeur “réussite” à partir d’une certaine quantité q tandis que l’autre prendrait cette décision à partir d’une certaine quantité q‘ > q. L’hypothèse de mesurabilité de quantités d’une certaine grandeur par des descriptions possibles avec un certain langage descriptif n’implique pas l’égalité des descriptions observées, mais leur comparabilité.

      Répondre
      1. Student

        Incomparable = contradictoire si on part du principe que les fonctions sont toutes deux strictement croissantes ou décroissantes et qu’un ordre apparaîtra toujours ? Car pour expliquer le 01 et 10 il faudrait penser que les fonctions ne varient pas dans le même sens ? Ce qui veut dire qu’on ne mesure pas les mêmes grandeurs ou qu’on mesure mal la grandeur ?

        Répondre
        1. Stéphane Vautier

          Lorsque les observables sont définis dans un ensemble discret (et non pas continu), une fonction de mesurage qui prend ses valeurs dans cet ensemble est une fonction croissante au sens large (et non pas strictement croissante). On peut considérer des fonctions de mesurage croissantes ou décroissantes, selon la manière dont on ordonne les valeurs qu’elles peuvent prendre (cf. les items dit négatifs dans les questionnaires de personnalité par exemple). Ce qui est important, c’est que lorsque la quantité varie dans un certain sens, la variation observée n’est pas quelconque mais obéit à une contrainte d’ordre (qu’il faut avoir spécifiée et on se facilite la vie si on choisit des fonctions toutes croissantes ou toutes décroissantes). Si, en ayant choisi des fonctions croissantes, on observe 01 et 10, alors on doit déduire que la quantité q1 mesurée par le 0 de 01 est plus petite que la quantité q2 mesurée par le 1 de 10 d’une part (puisque 0 < 1), c'est-à-dire q1 0), c’est-à-dire q1 > q2. Ce qui est absurde, d’où l’absurdité de la prémisse selon laquelle les observations sont (toutes) des mesures des quantités q1 et q2 par des fonctions croissantes.

          Répondre

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.