Méthodes quantitatives 360-300 • Sciences humaines au cégep à Montréal

Exercices corrigés : concepts, variables et échelles de mesure (360-300)

Ces dix exercices corrigés ouvrent le cours de méthodes quantitatives en sciences humaines. Ils portent sur la seule opération qui précède tout calcul : décider ce que l'on mesure, comment on le mesure, et ce que l'échelle obtenue autorise ensuite.

Le fil de la série tient en une phrase : on ne mesure jamais un concept, on mesure un indicateur qu'on a choisi pour le représenter, et l'échelle de cet indicateur décide de ce qui aura un sens plus loin. C'est pourquoi la moyenne d'un niveau de scolarité codé 1, 2, 3 est calculable et ne veut rien dire.

Trois pièges sont désignés nommément : le rapport calculé sur une échelle d'intervalle, la fidélité prise pour de la validité, et la relation observée entre régions transportée aux individus.

Série autocorrigée Tape tes réponses sous chaque question : la page te dit juste ou faux avant d'ouvrir la correction. Avec un compte, chaque bonne réponse du premier coup rapporte des points.

Ce chapitre fait partie de Méthodes quantitatives en sciences humaines : tous les chapitres du 360-300
Avant de commencer Fiche de révision : les pièges et la méthode de ce chapitre

Rappel de cours

  • Opérationnaliser : concept, puis dimensions, puis indicateurs. Seuls les indicateurs produisent des nombres; le concept, lui, n'est jamais mesuré directement.
  • Quatre échelles : NOMINALE (catégories sans ordre), ORDINALE (ordre sans distances), INTERVALLE (distances sans zéro absolu), DE RAPPORT (zéro absolu, donc quotients licites).
  • Ce que chaque échelle autorise : mode partout; médiane et quantiles à partir de l'ordinale; moyenne et écart-type à partir de l'intervalle; rapports et coefficient de variation seulement sur une échelle de rapport.
  • Test décisif du nominal : la moyenne des codes n'a aucun sens, même si le logiciel la calcule. Un code postal reste nominal.
  • Inversion d'un énoncé négatif sur une échelle de min\min à max\max : x=(min+max)xx'=(\min+\max)-x. Sur une Likert de 1 à 5, x=6xx'=6-x.
  • Variable INDÉPENDANTE : celle dont on suppose l'action. DÉPENDANTE : celle qui varie en réponse. CONFONDANTE : elle agit sur les deux sans être sur le chemin. INTERMÉDIAIRE : elle est sur le chemin, et il ne faut surtout pas la contrôler.
  • VALIDITÉ : l'instrument mesure ce qu'il prétend mesurer. FIDÉLITÉ : il donne le même résultat en le répétant. La fidélité est nécessaire, jamais suffisante.
  • Normalisation min-max : z=xminmaxminz=\dfrac{x-\min}{\max-\min}, résultat entre 0 et 1. Les bornes sont un choix, et deux indices aux bornes différentes ne se comparent pas.
  • Moyenne géométrique z1z2z33\sqrt[3]{z_{1}z_{2}z_{3}} : toujours inférieure ou égale à la moyenne arithmétique, et elle punit le déséquilibre entre composantes.
  • ERREUR ÉCOLOGIQUE : conclure de régions à des individus. ERREUR ATOMISTE : conclure d'individus à des groupes. Une relation appartient au niveau où elle a été mesurée.
  • Une marge d'erreur ne se calcule que sur un échantillon probabiliste. Sur un panel de volontaires, la formule fonctionne et le résultat ne veut rien dire.

Partie A : les bases (/50)

Exercice 1 : Du concept à l'indicateur : opérationnaliser

Aucune enquête ne mesure directement la pauvreté, l'intégration ou l'anxiété. Ce que l'on mesure, c'est toujours un INDICATEUR : une trace observable dont on accepte de dire qu'elle représente le concept. Opérationnaliser, c'est descendre du concept aux indicateurs en assumant chaque marche.

Un organisme de Montréal veut suivre la pauvreté dans un quartier. Le schéma ci-dessous montre la descente retenue.

CONCEPT : la pauvretedimension : revenudimension : conditionsdimension : exclusionrevenu apres impotpar unite de conso.logement inabordableinsecurite alimentaireisolement declareacces aux serviceschaque indicateur est MESURABLE ; le concept, lui, ne l'est jamais
  • a) Expliquez la différence entre un CONCEPT, une DIMENSION et un INDICATEUR, en vous servant du schéma.
  • b) L'organisme hésite entre deux indicateurs du revenu : le revenu total du ménage, ou le revenu après impôt divisé par la racine carrée du nombre de personnes du ménage. Un ménage de quatre personnes déclare 68 000 dollars après impôt. Calculez le second indicateur et dites ce qu'il corrige.
  • c) Le seuil retenu est de 26 500 dollars par unité de consommation. Le ménage de quatre personnes est-il sous le seuil ? Et un ménage d'une personne à 25 000 dollars ?
  • d) Un élu affirme que le nombre de personnes pauvres du quartier « dépend surtout de la définition qu'on en donne ». A-t-il tort ?
  • e) Donnez un indicateur possible du concept « intégration scolaire », puis nommez une chose que cet indicateur laisse échapper.

Tape tes réponses, la page te dit juste ou faux 0/11

a)
b)
c)
d)
e)
Voir la correction

Réponses

  • a) Concept, idée générale sans chiffre ; dimensions, ses faces distinctes ; indicateurs, les seules mesures collectées
  • b) 4=2\sqrt{4}=2, donc 680002=34000\dfrac{68\,000}{2}=34\,000 dollars par unité de consommation ; la division corrige les économies d'échelle
  • c) Le ménage de quatre est AU-DESSUS (34000>2650034\,000>26\,500) ; celui d'une personne est SOUS (25000<2650025\,000<26\,500)
  • d) Il a raison, et c'est une raison de publier la définition : seule la comparaison à définition constante reste solide
  • e) Par exemple la part d'élèves ayant au moins un ami en classe ; elle rate l'élève qui participe sans se sentir accepté

a) Le CONCEPT est l'idée générale, ici la pauvreté : il n'a aucune existence chiffrée, on ne peut ni l'observer ni le compter. Les DIMENSIONS sont les faces distinctes du concept, ici le revenu, les conditions de vie et l'exclusion : elles découpent le concept en parties dont chacune se laisse approcher séparément. Les INDICATEURS sont les mesures effectivement collectées, ici le revenu après impôt par unité de consommation, la part du revenu consacrée au logement, l'insécurité alimentaire déclarée. Seul le dernier étage produit des nombres. Toute la chaîne se lit vers le bas quand on construit l'instrument, et vers le haut quand on interprète les résultats : c'est en remontant que l'on triche, en attribuant au concept ce que seul l'indicateur a montré.

b) L'unité de consommation vaut 4=2\sqrt{4}=2, donc l'indicateur vaut 680002=34000\dfrac{68\,000}{2}=34\,000 dollars par unité de consommation. Ce que la division corrige, ce sont les ÉCONOMIES D'ÉCHELLE du ménage : deux personnes qui vivent ensemble n'ont pas besoin de deux loyers ni de deux réfrigérateurs. Diviser par 4, le nombre de personnes, supposerait qu'il n'existe aucune économie d'échelle ; ne pas diviser du tout supposerait qu'elles sont totales. La racine carrée est un compromis, et c'est exactement celui que retient Statistique Canada dans sa mesure du panier de consommation. Il faut voir que le choix de l'exposant n'est pas un détail technique : il déplace des milliers de ménages de part et d'autre du seuil.

c) Le ménage de quatre personnes est à 34 000 dollars par unité de consommation, donc AU-DESSUS du seuil de 26 500. Le ménage d'une personne a pour unité de consommation 1=1\sqrt{1}=1, donc son indicateur vaut 25 000 dollars : il est SOUS le seuil, alors que son revenu brut est près de trois fois plus petit que celui de l'autre ménage. C'est précisément l'effet recherché : comparer des ménages de tailles différentes exige de ramener le revenu à une échelle commune, sinon toute famille nombreuse paraîtrait riche.

d) Il n'a pas tort, et c'est une raison de publier la définition, pas de renoncer à mesurer. Le nombre de personnes sous le seuil dépend du choix du seuil, de l'exposant de l'unité de consommation et du fait de raisonner avant ou après impôt : trois décisions, trois nombres différents pour la même réalité. Ce qui reste solide, en revanche, c'est la COMPARAISON à définition constante, dans le temps ou entre quartiers. Un organisme sérieux fixe donc sa définition, la publie, et ne la change plus : c'est cette stabilité, et non une prétendue neutralité, qui rend la mesure utile.

e) Indicateur possible : la proportion d'élèves qui déclarent avoir au moins un ami dans leur classe, ou le taux de participation aux activités parascolaires. Ce que l'indicateur laisse échapper : un élève peut participer à tout sans se sentir accepté, et un élève solitaire par choix n'est pas mal intégré. Aucun indicateur ne couvre son concept en entier ; le travail consiste à en choisir plusieurs, dont les angles morts ne se recouvrent pas, et à dire lesquels on a retenus.

Exercice 2 : Les quatre échelles de mesure et ce qu'elles autorisent

Une échelle de mesure ne décrit pas la variable, elle décrit ce que l'on a le DROIT de faire avec les nombres obtenus. Quatre échelles, et à chaque marche une opération de plus devient légitime.

ÉchelleCe qui a un sensCe qui n'en a pas
Nominaleégalité, effectifs, modeordre, différence, rapport
Ordinaleen plus : ordre, médiane, quantilesdifférence, rapport
Intervalleen plus : différence, moyenne, écart-typerapport
De rapporten plus : rapport, coefficient de variationrien de ce qui précède
  • a) Classez : la langue maternelle, le rang au classement d'un cégep, la température en degrés Celsius, le nombre d'enfants, l'année de naissance, le revenu annuel.
  • b) Il a fait 10 degrés Celsius lundi et 20 degrés mardi. Peut-on dire qu'il a fait deux fois plus chaud ? Reprenez le calcul en kelvins, où TK=TC+273,15T_{K}=T_{C}+273{,}15, et concluez.
  • c) Un chercheur code la scolarité 1 = secondaire, 2 = collégial, 3 = universitaire, puis calcule une moyenne de 2,1. Que vaut ce nombre ?
  • d) Sur quelles échelles le coefficient de variation CV=sxCV=\dfrac{s}{\overline{x}} a-t-il un sens ? Justifiez à partir du zéro.
  • e) Une variable ordinale peut-elle devenir de rapport si l'on change la façon de la mesurer ? Donnez un exemple.

Tape tes réponses, la page te dit juste ou faux 0/17

a)
b)
c)
d)
e)
Voir la correction

Réponses

  • a) Nominale, ordinale, intervalle, de rapport, intervalle, de rapport, dans l'ordre de l'énoncé
  • b) Non : 2010=2\dfrac{20}{10}=2 mais 293,15283,151,035\dfrac{293{,}15}{283{,}15}\approx 1{,}035 ; la différence, elle, vaut 1010 dans les deux systèmes
  • c) 2,12{,}1 est calculable et non interprétable ; la médiane, le niveau collégial, est le résumé licite
  • d) Uniquement sur une échelle de rapport, parce qu'un quotient exige un zéro absolu
  • e) Oui : « années d'études complétées » est de rapport là où « niveau de scolarité » codé 1 à 3 est ordinal

a) Langue maternelle : NOMINALE, des catégories sans ordre. Rang au classement : ORDINALE, l'ordre existe mais l'écart entre le premier et le deuxième n'a pas de raison d'égaler celui entre le deuxième et le troisième. Température en degrés Celsius : INTERVALLE, les différences sont comparables mais le zéro est conventionnel. Nombre d'enfants : DE RAPPORT, avec un zéro absolu et une variable discrète. Année de naissance : INTERVALLE, l'an zéro est une convention de calendrier. Revenu annuel : DE RAPPORT, un revenu nul est une absence réelle de revenu.

b) Non. Le rapport 2010=2\dfrac{20}{10}=2 n'a aucun sens sur une échelle d'intervalle, parce que le zéro Celsius ne représente pas une absence de chaleur, c'est le point de fusion de l'eau. En kelvins, échelle de rapport dont le zéro est absolu, les deux journées valent 283,15283{,}15 et 293,15293{,}15, et le rapport vaut 293,15283,151,035\dfrac{293{,}15}{283{,}15}\approx 1{,}035, soit 3,5 % de plus. Le rapport passe de 2 à 1,035 selon l'unité choisie : un rapport qui change quand on change d'unité n'est pas une propriété de la réalité, c'est un artefact de l'échelle. La DIFFÉRENCE, elle, vaut 10 degrés dans les deux systèmes, et c'est pour cela qu'elle reste licite. Retenir la règle courte : sans zéro absolu, pas de rapport.

c) 2,1 ne vaut rien comme moyenne de scolarité, parce que les codes 1, 2, 3 sont des étiquettes ordonnées et non des quantités : rien ne dit que l'écart entre le secondaire et le collégial équivaut à l'écart entre le collégial et l'université. Le nombre 2,1 est calculable, il n'est pas interprétable. Ce que l'on peut légitimement dire, c'est la MÉDIANE, ici le niveau collégial, ou la répartition en pourcentages. Le piège est fréquent parce que le logiciel, lui, accepte le calcul sans protester : c'est le chercheur, et non le logiciel, qui connaît l'échelle.

d) Uniquement sur une échelle DE RAPPORT. Le coefficient de variation est un quotient de l'écart-type par la moyenne, donc un rapport, et un rapport n'a de sens que si le zéro est absolu. Sur les températures Celsius d'un mois de mars montréalais, la moyenne peut approcher zéro et le coefficient exploser vers l'infini sans qu'il ne se soit rien passé de remarquable ; en kelvins, la même série donne un coefficient minuscule. Deux nombres inconciliables pour une même série suffisent à disqualifier l'indicateur sur cette échelle.

e) Oui, en changeant l'indicateur plutôt que le concept. « Niveau de scolarité » codé de 1 à 3 est ordinal ; « nombre d'années d'études complétées » est de rapport, avec un zéro absolu et des différences interprétables. On gagne ainsi le droit de calculer une moyenne et un coefficient de variation, et on perd un peu de la richesse du diplôme, qui ne se réduit pas à une durée. La leçon vaut pour tout le cours : l'échelle n'est pas imposée par le concept, elle est choisie au moment où l'on décide comment mesurer.

Exercice 3 : L'échelle de Likert : une ordinale qu'on traite en intervalle

L'outil le plus utilisé des sciences humaines est aussi celui qui viole le plus souvent la règle précédente. Une échelle de Likert produit des rangs, et tout le monde en calcule des moyennes.

Un questionnaire mesure le sentiment d'appartenance au cégep par quatre énoncés cotés de 1, tout à fait en désaccord, à 5, tout à fait d'accord. Le troisième énoncé est formulé négativement : « Je me sens étranger dans cet établissement. »

RépondantÉ1É2É3 (négatif)É4
A5425
B3333
C2152
  • a) Pourquoi faut-il INVERSER l'énoncé 3 avant de sommer ? Donnez la formule d'inversion pour une échelle de 1 à 5 et appliquez-la aux trois répondants.
  • b) Calculez le score total de chacun sur les quatre énoncés, après inversion. Quel est l'intervalle des scores possibles ?
  • c) Le score total sur quatre énoncés est-il ordinal ou d'intervalle ? Que gagne-t-on à sommer plusieurs énoncés plutôt qu'à en utiliser un seul ?
  • d) Un collègue propose de remplacer les cinq niveaux par quatre, en supprimant le point neutre. Quel effet cela produit-il, et à quel prix ?
  • e) Le questionnaire est repassé aux mêmes répondants trois semaines plus tard, et les scores changent de six points en moyenne sur vingt. Est-ce un problème de validité ou de fidélité ?

Tape tes réponses, la page te dit juste ou faux 0/17

a)
b)
c)
d)
e)
Voir la correction

Réponses

  • a) x=6xx'=6-x, forme générale x=(min+max)xx'=(\min+\max)-x : A passe à 44, B à 33, C à 11
  • b) 1818, 1212 et 66 ; les scores possibles vont de 44 à 2020
  • c) Chaque énoncé est ordinal, le total est traité en intervalle par convention ; on gagne fidélité et couverture
  • d) Cela augmente la variance et force le choix, au prix d'une réponse fausse pour les indifférents et de la rupture de comparabilité
  • e) Fidélité : 66 points sur une étendue de 1616, l'instrument mesure surtout du bruit

a) Un énoncé négatif code l'appartenance à l'envers : un 5 y signifie le contraire d'un 5 ailleurs. Sommer sans inverser reviendrait à additionner des degrés de chaleur et des degrés de froid. L'inversion sur une échelle de 1 à 5 s'écrit x=6xx'=6-x, forme générale x=(min+max)xx'=(\min+\max)-x. Le répondant A passe de 2 à 62=46-2=4, B reste à 63=36-3=3, C passe de 5 à 65=16-5=1. On vérifie que la transformation conserve l'étendue, envoie 1 sur 5 et 5 sur 1, et laisse le point neutre fixe : ces trois propriétés sont exactement ce qu'on lui demande.

b) Répondant A : 5+4+4+5=185+4+4+5=18. Répondant B : 3+3+3+3=123+3+3+3=12. Répondant C : 2+1+1+2=62+1+1+2=6. Avec quatre énoncés cotés de 1 à 5, le score total varie de 4×1=44\times 1=4 à 4×5=204\times 5=20. A se situe donc haut dans l'échelle, C bas, et B exactement au milieu de l'intervalle, ce qui est cohérent puisqu'il a répondu au point neutre partout.

c) Chaque énoncé pris isolément est ORDINAL : rien ne garantit que l'écart entre « en désaccord » et « neutre » égale l'écart entre « neutre » et « d'accord ». Le score total est traité en pratique comme une variable d'INTERVALLE, et c'est une convention assumée, pas une démonstration : sommer plusieurs énoncés lisse les irrégularités de chacun et rend la distribution suffisamment continue pour que la moyenne et l'écart-type deviennent des résumés utiles. On gagne deux choses en sommant : de la FIDÉLITÉ, car les erreurs de lecture d'un énoncé se compensent partiellement, et de la COUVERTURE, car quatre formulations touchent plus de facettes du concept qu'une seule. On perd le droit de dire que l'écart entre 12 et 14 est le même qu'entre 18 et 20 ; la prudence consiste à interpréter les positions relatives plutôt que les distances.

d) Supprimer le point neutre force chaque répondant à se prononcer, ce qui augmente la variance et évite l'abri du milieu, où se réfugient les indifférents comme les prudents. Le prix est double : un répondant réellement sans opinion est contraint à une réponse fausse, et les scores ne sont plus comparables à ceux recueillis sur l'échelle à cinq niveaux, y compris ceux de la vague précédente de la même enquête. Changer le nombre de niveaux en cours d'étude longitudinale est une des façons les plus sûres de rendre une série temporelle inutilisable.

e) C'est un problème de FIDÉLITÉ, c'est-à-dire de stabilité de l'instrument. Six points d'écart sur une étendue de seize points, alors que le sentiment d'appartenance n'a aucune raison d'avoir bougé en trois semaines, indiquent que l'instrument mesure en bonne partie du bruit : humeur du jour, interprétation des formulations, ordre des énoncés. La validité, elle, est une autre question : elle demanderait si le score mesure bien l'appartenance et non, par exemple, la satisfaction générale. Un instrument peut être parfaitement fidèle et complètement invalide, et c'est le cas le plus dangereux, parce que la constance des résultats donne l'illusion de la rigueur.

Exercice 4 : Variable indépendante, dépendante, de contrôle

Une hypothèse de sciences humaines annonce toujours une direction : quelque chose agit sur quelque chose d'autre. Nommer correctement les variables est ce qui rend l'hypothèse testable, et repérer la variable oubliée est ce qui empêche de conclure trop vite.

VI : heures d'etudeVD : note finaleconfondante : motivationrelation observeela fleche du milieu peut n'etre qu'un reflet des deux autres
  • a) Dans l'hypothèse « le nombre d'heures d'étude hebdomadaires influence la note finale », identifiez la variable indépendante et la variable dépendante.
  • b) Le schéma propose la motivation comme variable confondante. Expliquez pourquoi elle menace la conclusion, et distinguez-la d'une variable INTERMÉDIAIRE.
  • c) Sur 200 étudiants, la corrélation entre heures d'étude et note vaut r=0,42r=0{,}42. En ne gardant que les étudiants de motivation déclarée forte, elle tombe à r=0,11r=0{,}11. Qu'en conclure ?
  • d) On veut vérifier l'effet d'une méthode de tutorat. Décrivez le dispositif qui neutralise le mieux les variables confondantes, et dites ce qu'il exige.
  • e) Nommez deux variables de contrôle qu'il serait raisonnable de mesurer dans cette étude, et dites ce que l'on en fait ensuite.

Tape tes réponses, la page te dit juste ou faux 0/11

a)
b)
c)
d)
e)
Voir la correction

Réponses

  • a) Indépendante : les heures d'étude. Dépendante : la note finale
  • b) La confondante agit sur les deux sans être sur le chemin causal ; l'intermédiaire est SUR le chemin et ne se contrôle pas
  • c) r2r^{2} passe de 0,17640{,}1764 à 0,01210{,}0121, une chute de 73,8  %73{,}8\;\% du coefficient ; vérifier d'abord les écarts-types
  • d) L'expérience à assignation aléatoire, qui exige l'effectif, la faisabilité éthique et l'absence de contamination
  • e) Moyenne générale du secondaire et heures de travail rémunéré, mesurées au départ puis introduites dans l'analyse

a) Variable INDÉPENDANTE : le nombre d'heures d'étude hebdomadaires, celle dont on suppose l'action. Variable DÉPENDANTE : la note finale, celle dont on suppose qu'elle varie en réponse. Le vocabulaire n'a rien d'anodin : il fixe le sens de la flèche, donc ce que l'étude prétend établir. Inverser les deux donnerait une hypothèse différente et tout aussi plausible, celle où de bons résultats encouragent à étudier davantage.

b) Une variable CONFONDANTE agit sur la variable indépendante ET sur la dépendante, sans se trouver sur le chemin causal entre elles. Un étudiant très motivé étudie plus, et il réussit mieux pour des raisons qui ne passent pas par les heures d'étude : attention en classe, questions posées, travaux remis. La corrélation observée entre étude et note est alors en partie un reflet de la motivation, et non l'effet de l'étude. Une variable INTERMÉDIAIRE, elle, se situe SUR le chemin : les heures d'étude augmentent la maîtrise des exercices, qui améliore la note. La distinction est décisive parce qu'on doit contrôler une confondante, alors que contrôler une intermédiaire ferait disparaître l'effet même que l'on cherche à mesurer.

c) La chute de 0,42 à 0,11 signifie qu'à motivation constante, la relation entre heures d'étude et note ne subsiste presque pas. La motivation expliquait donc l'essentiel de la corrélation initiale : on parle de relation FALLACIEUSE, ou du moins largement confondue. Attention toutefois à une seconde lecture possible : en ne gardant que les motivés, on a réduit la variance de la variable indépendante, ce qui abaisse mécaniquement un coefficient de corrélation. Un chercheur prudent vérifie donc les écarts-types dans les deux groupes avant de conclure, et n'attribue la chute à la confusion que si la dispersion des heures d'étude est restée comparable.

d) Le dispositif le plus solide est l'EXPÉRIENCE À ASSIGNATION ALÉATOIRE : on tire au sort qui reçoit le tutorat et qui ne le reçoit pas. Le tirage au sort répartit en moyenne également toutes les variables, y compris celles qu'on n'a pas pensé à mesurer, ce qu'aucun contrôle statistique ne peut faire. Il exige trois choses : un effectif suffisant pour que le hasard équilibre effectivement les groupes, une possibilité éthique et pratique de refuser le tutorat à une partie des étudiants, et un suivi qui empêche les groupes de se contaminer. Quand l'assignation aléatoire est impossible, ce qui est le cas ordinaire en sciences humaines, on se rabat sur des devis quasi expérimentaux, dont les conclusions sont plus faibles et doivent être annoncées comme telles.

e) Deux contrôles raisonnables : la moyenne générale du secondaire, qui capte le niveau antérieur, et le nombre d'heures de travail rémunéré par semaine, qui capte la disponibilité réelle. On les mesure au départ, puis on les fait entrer dans l'analyse, soit en comparant des sous-groupes de même niveau antérieur, soit en les ajoutant comme variables explicatives dans une régression multiple. Dans les deux cas, l'objectif est le même : comparer ce qui est comparable, de sorte que la différence restante puisse raisonnablement être attribuée au tutorat.

Exercice 5 : Validité et fidélité : deux qualités indépendantes

Un instrument peut se tromper toujours de la même façon. La cible ci-dessous sépare les deux qualités qu'on exige d'une mesure : viser juste, et viser serré.

cible 1cible 2cible 3cible 4
  • a) Définissez la validité et la fidélité, puis dites laquelle correspond à chacune des quatre cibles.
  • b) Une balance de pèse-personne indique systématiquement 2,0 kg de trop, avec une reproductibilité de 0,1 kg. Où la situez-vous sur les quatre cas ? Que vaut-elle pour un suivi de perte de poids ?
  • c) Un test d'anxiété est repassé à quinze jours d'intervalle sur 40 personnes; la corrélation entre les deux passations vaut 0,88. Quelle qualité cela mesure-t-il ? Qu'est-ce que cela ne dit pas ?
  • d) Décrivez deux façons différentes d'argumenter la validité d'un test d'anxiété.
  • e) Peut-on avoir la validité sans la fidélité ? Expliquez ce que devient alors une mesure individuelle.

Tape tes réponses, la page te dit juste ou faux 0/14

a)
b)
c)
d)
e)
Voir la correction

Réponses

  • a) Validité, viser juste ; fidélité, viser serré. Cibles 1 à 4 : les deux, fidèle seule, valide seule, aucune
  • b) Cas 2, fidèle et invalide ; la différence mesurée vaut 2,5-2{,}5 kg, exacte, car le biais s'annule
  • c) 0,880{,}88 mesure la fidélité temporelle ; elle ne dit rien de la validité ni de la cohérence interne
  • d) Validité de critère, contre un diagnostic externe ; validité de contenu et de construit, par la couverture et les prédictions
  • e) Oui, cible 3 : la mesure individuelle devient inutilisable, la moyenne d'un grand groupe reste correcte (s/n=0,9487s/\sqrt{n}=0{,}9487)

a) La VALIDITÉ est l'accord entre ce que l'instrument mesure et ce qu'il prétend mesurer : les tirs tombent autour du centre. La FIDÉLITÉ est la constance de l'instrument d'une mesure à l'autre : les tirs sont groupés, où qu'ils tombent. Cible 1, groupée au centre : valide et fidèle. Cible 2, groupée en haut à droite : fidèle mais non valide, l'erreur est systématique. Cible 3, dispersée autour du centre : valide en moyenne mais non fidèle. Cible 4, dispersée et décentrée : ni l'une ni l'autre. Les deux qualités sont logiquement indépendantes, et c'est pourquoi une seule des deux ne suffit jamais.

b) Cette balance est le cas 2 : très FIDÈLE, avec une reproductibilité de 0,1 kg, et INVALIDE pour la mesure d'un poids absolu, à cause du biais constant de 2,0 kg. Pour un suivi de perte de poids, elle est pourtant parfaitement utilisable, parce que la quantité d'intérêt est une DIFFÉRENCE : (p2+2)(p1+2)=p2p1\left(p_{2}+2\right)-\left(p_{1}+2\right)=p_{2}-p_{1}, le biais constant s'annule. C'est la leçon pratique de l'exercice : la qualité exigée dépend de la question posée, et un instrument biaisé mais stable reste bon pour comparer, mauvais pour situer.

c) La corrélation test-retest de 0,88 mesure la FIDÉLITÉ, précisément la stabilité temporelle. Elle ne dit rien de la validité : un test qui mesurerait en réalité le pessimisme, et non l'anxiété, donnerait des résultats tout aussi stables. Elle ne dit rien non plus de la cohérence interne des énoncés, qui s'estime autrement, ni du fait que quinze jours puissent suffire aux répondants pour se souvenir de leurs réponses, ce qui gonfle artificiellement la corrélation. Une fidélité élevée est une condition nécessaire, jamais une garantie.

d) Première façon, la validité de CRITÈRE : on confronte le test à une référence externe reconnue, par exemple le diagnostic posé indépendamment par des cliniciens, et on regarde si le test classe les mêmes personnes. Deuxième façon, la validité de CONTENU et de construit : on montre que les énoncés couvrent les facettes reconnues de l'anxiété, physiologique, cognitive et comportementale, et que le score se comporte comme la théorie le prévoit, c'est-à-dire qu'il monte avant un examen et corrèle avec l'insomnie sans se confondre avec la dépression. Aucune des deux ne prouve la validité au sens strict; elles l'argumentent, et un instrument sérieux accumule les deux types d'arguments.

e) Oui, c'est la cible 3 : sans biais mais très dispersée. Une mesure INDIVIDUELLE y devient inutilisable, puisqu'un écart observé chez une personne peut n'être que du bruit. La moyenne d'un grand groupe, elle, reste correcte, parce que les erreurs aléatoires se compensent : l'erreur type de la moyenne diminue comme sn\dfrac{s}{\sqrt{n}}. D'où une règle de lecture qui sert tout le reste du cours : un instrument peu fidèle peut servir à comparer des groupes nombreux et jamais à décider du cas d'une personne.

Partie B : problèmes et raisonnement (/50)

Exercice 6 : Construire un indice composite

Quand un concept a plusieurs dimensions, on résume souvent l'ensemble en un seul nombre : un indice. Trois décisions le fabriquent, et chacune peut être discutée : la normalisation, la pondération, l'agrégation.

Un quartier obtient 72 ans d'espérance de vie, 11,0 années de scolarité moyenne et 28 000 dollars de revenu médian. Les bornes de référence retenues sont 60 à 75 ans, 6 à 16 années, 20 000 à 60 000 dollars.

sante0,8education0,5revenu0,2INDICE0,500,250,50,75les trois composantes, puis leur moyenne
  • a) Normalisez chaque composante par z=xminmaxminz=\dfrac{x-\min}{\max-\min} et donnez les trois valeurs.
  • b) Calculez l'indice comme moyenne arithmétique des trois composantes normalisées.
  • c) Le comité propose plutôt les poids 0,5 pour la santé, 0,3 pour l'éducation et 0,2 pour le revenu. Recalculez, et dites ce que ce choix de poids exprime.
  • d) Un autre comité propose la moyenne GÉOMÉTRIQUE z1z2z33\sqrt[3]{z_{1}z_{2}z_{3}}. Calculez-la et expliquez ce qu'elle punit.
  • e) Le revenu médian du quartier passe de 28 000 à 36 000 dollars. De combien l'indice non pondéré augmente-t-il ? Commentez la sensibilité de l'indice aux bornes choisies.

Tape tes réponses, la page te dit juste ou faux 0/14

a)
b)
c)
d)
e)
Voir la correction

Réponses

  • a) z1=0,80z_{1}=0{,}80, z2=0,50z_{2}=0{,}50, z3=0,20z_{3}=0{,}20
  • b) 1,503=0,50\dfrac{1{,}50}{3}=0{,}50
  • c) 0,590{,}59 ; les poids sont un jugement de valeur, à publier avec une analyse de sensibilité
  • d) 0,0830,43\sqrt[3]{0{,}08}\approx 0{,}43 ; elle punit le déséquilibre entre les composantes
  • e) z3=0,40z_{3}=0{,}40, indice 0,567\approx 0{,}567, soit +0,067+0{,}067 ; avec une borne à 8000080\,000, seulement +0,044+0{,}044

a) Santé : z1=72607560=1215=0,80z_{1}=\dfrac{72-60}{75-60}=\dfrac{12}{15}=0{,}80. Éducation : z2=116166=510=0,50z_{2}=\dfrac{11-6}{16-6}=\dfrac{5}{10}=0{,}50. Revenu : z3=28000200006000020000=800040000=0,20z_{3}=\dfrac{28\,000-20\,000}{60\,000-20\,000}=\dfrac{8\,000}{40\,000}=0{,}20. La normalisation min-max ramène des grandeurs incomparables, des années et des dollars, sur une même échelle de 0 à 1 : c'est la condition pour que l'addition qui suit ne soit pas une addition de choux et de carottes.

b) Moyenne arithmétique : 0,80+0,50+0,203=1,503=0,50\dfrac{0{,}80+0{,}50+0{,}20}{3}=\dfrac{1{,}50}{3}=0{,}50. Le quartier se situe donc exactement au milieu de l'échelle de référence. Il faut voir que ce 0,50 masque une hétérogénéité forte, de 0,20 à 0,80 : c'est le défaut congénital de tout indice composite, et c'est pourquoi on publie toujours les composantes à côté de l'indice.

c) Indice pondéré : 0,5×0,80+0,3×0,50+0,2×0,20=0,40+0,15+0,04=0,590{,}5\times 0{,}80+0{,}3\times 0{,}50+0{,}2\times 0{,}20=0{,}40+0{,}15+0{,}04=0{,}59. Le quartier gagne neuf centièmes, non parce que sa situation a changé, mais parce que la pondération valorise la dimension où il est le meilleur. Les poids expriment un jugement de valeur sur l'importance relative des dimensions : ils ne se déduisent d'aucune donnée. Les publier, et montrer comment l'indice bouge quand on les modifie, est la seule façon honnête de procéder ; c'est ce qu'on appelle une analyse de sensibilité.

d) Moyenne géométrique : 0,80×0,50×0,203=0,0830,43\sqrt[3]{0{,}80\times 0{,}50\times 0{,}20}=\sqrt[3]{0{,}08}\approx 0{,}43. Elle est inférieure à la moyenne arithmétique, et elle le sera toujours dès que les composantes diffèrent. Ce qu'elle punit, c'est le DÉSÉQUILIBRE : elle refuse qu'une excellence compense entièrement une carence, et elle tend vers zéro dès qu'une composante s'effondre. C'est exactement la raison pour laquelle le Programme des Nations unies pour le développement est passé à la moyenne géométrique dans le calcul de son indice de développement humain.

e) Le nouveau z3=360002000040000=0,40z_{3}=\dfrac{36\,000-20\,000}{40\,000}=0{,}40, donc l'indice devient 0,80+0,50+0,403=1,7030,567\dfrac{0{,}80+0{,}50+0{,}40}{3}=\dfrac{1{,}70}{3}\approx 0{,}567 : une hausse d'environ 0,067, soit près de sept points sur cent. Sur la sensibilité aux bornes : si la borne supérieure du revenu était fixée à 80 000 dollars plutôt qu'à 60 000, la même hausse de 8 000 dollars ne ferait gagner que 8000600000,133\dfrac{8\,000}{60\,000}\approx 0{,}133 à la composante, donc environ 0,044 à l'indice. Le progrès mesuré dépend donc d'un choix administratif de bornes, ce qui interdit de comparer deux indices construits sur des références différentes, et impose de garder les mêmes bornes d'une année à l'autre.

Exercice 7 : L'unité d'analyse et le piège écologique

Une même question peut se poser sur des individus, des classes, des quartiers ou des pays. Le choix de l'unité n'est pas un détail de collecte : il change la réponse, parfois jusqu'à en inverser le signe.

Le graphique montre cinq régions, puis les vingt individus qui les composent.

5 regions : r = 0,99dans chaque region, la pente s'inversepart d'immigrants dans la region (%)taux
  • a) Décrivez la relation lue sur les cinq régions, puis celle lue sur les vingt individus.
  • b) Nommez l'erreur commise par qui conclut de l'une à l'autre, et énoncez la règle qu'elle enfreint.
  • c) Sur les cinq régions, les proportions d'immigrants valent 5, 20, 35, 50 et 65 pour cent, et les taux valent 1, 3, 5, 7 et 9. Vérifiez que la relation agrégée est parfaitement linéaire et donnez la pente.
  • d) Il existe une erreur symétrique, qui va de l'individu au groupe. Nommez-la et donnez un exemple.
  • e) Quelle unité d'analyse choisiriez-vous pour étudier l'effet de la taille des classes sur la réussite, et pourquoi la question est-elle piégée ?

Tape tes réponses, la page te dit juste ou faux 0/14

a)
b)
c)
d)
e)
Voir la correction

Réponses

  • a) Positive et presque parfaite sur les régions, négative à l'intérieur de chaque région sur les individus
  • b) L'erreur écologique : une relation établie à un niveau d'agrégation ne se transporte pas à un autre
  • c) Écarts constants 1515 et 22, donc r=1r=1 et pente 2150,133\dfrac{2}{15}\approx 0{,}133
  • d) L'erreur atomiste : conclure de l'élève à l'école, alors que la composition joue au niveau de l'établissement
  • e) L'élève, avec la classe comme niveau supérieur : analyse multiniveau, car les élèves d'une classe ne sont pas indépendants

a) Sur les cinq régions, la relation est fortement POSITIVE et presque parfaite : plus la part d'immigrants est élevée, plus le taux mesuré est élevé, avec un coefficient voisin de 0,99. Sur les vingt individus, les points s'ordonnent au contraire selon une pente NÉGATIVE à l'intérieur de chaque région : à l'échelle des personnes, la relation s'inverse. Les deux lectures sont exactes, elles ne portent simplement pas sur le même objet : la première décrit des régions, la seconde décrit des personnes.

b) C'est l'ERREUR ÉCOLOGIQUE, décrite par Robinson en 1950 sur les données du recensement américain : les États où la proportion d'immigrants était la plus forte étaient aussi les plus alphabétisés, alors qu'individuellement les immigrants l'étaient moins. La règle enfreinte est simple à énoncer et facile à oublier : une relation établie à un niveau d'agrégation ne se transporte pas à un autre niveau. Le mécanisme est toujours le même : les immigrants s'installaient dans les États les plus développés, où toute la population, immigrante ou non, était plus alphabétisée. La variable de région porte l'essentiel de l'information, et l'agrégation efface la variation interne, qui est justement celle qui répond à la question individuelle.

c) Les cinq couples sont (5;1)(5;1), (20;3)(20;3), (35;5)(35;5), (50;7)(50;7), (65;9)(65;9). Les écarts en abscisse valent 15 partout, et les écarts en ordonnée valent 2 partout : le rapport est constant, donc les cinq points sont exactement alignés et la corrélation vaut 1 en valeur absolue. La pente vaut 2150,133\dfrac{2}{15}\approx 0{,}133 point de taux par point de pourcentage. Une corrélation agrégée parfaite n'est pas une preuve renforcée : au contraire, l'agrégation supprime le bruit individuel et gonfle mécaniquement les coefficients, ce qui explique que les corrélations écologiques soient presque toujours plus élevées que les corrélations individuelles.

d) L'erreur symétrique est l'ERREUR ATOMISTE, ou individualiste : conclure du niveau individuel au niveau collectif. Exemple : au sein d'une école, les élèves qui lisent le plus obtiennent les meilleures notes; on en déduit qu'une école où l'on lit beaucoup obtient de meilleurs résultats globaux, ce qui ne suit pas, car la composition sociale, la sélection à l'entrée et les effets d'entraînement jouent au niveau de l'établissement et pas au niveau de l'élève. Les deux erreurs ont la même racine : croire que la relation est une propriété transportable, alors qu'elle appartient au niveau où elle a été mesurée.

e) La question est piégée parce que la taille des classes est une propriété de la CLASSE, alors que la réussite est une propriété de l'ÉLÈVE : les deux variables ne vivent pas au même niveau. Le traitement correct est une analyse multiniveau, qui garde les élèves comme unités et introduit la classe comme un niveau supérieur, avec ses propres variables. Faute d'un tel outil, on choisit l'élève comme unité et l'on ajoute la taille de sa classe comme variable de contexte, en sachant que les élèves d'une même classe ne sont pas des observations indépendantes, ce qui fausse les tests statistiques ordinaires vers un excès de significativité.

Exercice 8 : Cinq affirmations à corriger

Chacune des cinq affirmations suivantes est FAUSSE. Dites pourquoi et donnez l'énoncé correct.

  • 1) « Puisque le code postal est composé de chiffres et de lettres qu'on peut ordonner, c'est une variable ordinale. »
  • 2) « Un instrument fidèle est nécessairement valide, puisqu'il donne toujours le même résultat. »
  • 3) « Le score moyen à une échelle de Likert de 1 à 5 vaut 3,4 : les répondants sont donc en moyenne un peu plus que neutres, et l'écart entre 3,4 et 4,4 est le même qu'entre 1,0 et 2,0. »
  • 4) « La corrélation entre revenu moyen et taux de diplomation vaut 0,86 sur les régions du Québec : un individu plus riche a donc 86 % de chances de plus d'être diplômé. »
  • 5) « Pour rendre une étude plus rigoureuse, il suffit d'augmenter le nombre de décimales des indicateurs. »

Tape tes réponses, la page te dit juste ou faux 0/9

1)
2)
3)
4)
5)
Voir la correction

Réponses

  • 1) FAUX : le code postal est NOMINAL ; trier n'est pas ordonner, et sa moyenne n'a aucun sens
  • 2) FAUX : la fidélité est nécessaire mais non suffisante ; une balance biaisée de deux kilos est fidèle et invalide
  • 3) FAUX pour la seconde moitié : sur une ordinale on interprète les positions, jamais les distances
  • 4) FAUX deux fois : erreur écologique, et r=0,86r=0{,}86 n'est pas une probabilité ; r20,74r^{2}\approx 0{,}74 est une part de variance
  • 5) FAUX : les décimales sont de la précision d'écriture, la rigueur vient de l'instrument et du plan de collecte

1) FAUX. Un code postal se trie, mais trier n'est pas ordonner au sens des échelles de mesure : l'ordre doit correspondre à un DEGRÉ croissant de la propriété étudiée. H1A n'a pas « plus » de quoi que ce soit que H2B, il désigne un autre lieu. Énoncé correct : le code postal est une variable qualitative NOMINALE ; les caractères qui le composent servent d'étiquette et non de quantité, et le test décisif est que sa moyenne n'a aucun sens.

2) FAUX, et c'est l'erreur la plus coûteuse du chapitre. Un instrument fidèle donne des résultats constants, y compris quand il se trompe constamment : une balance biaisée de deux kilos est fidèle et invalide. Énoncé correct : la fidélité est NÉCESSAIRE mais non suffisante à la validité. Sans fidélité, aucune validité individuelle n'est possible; avec la fidélité seule, on peut mesurer très précisément la mauvaise chose.

3) FAUX pour la seconde moitié seulement. Dire que la moyenne dépasse le point neutre est un résumé acceptable, à condition d'assumer la convention qui traite le total en variable d'intervalle. Mais l'affirmation sur l'égalité des écarts, elle, revendique explicitement une échelle d'intervalle que les niveaux d'une Likert ne garantissent pas. Énoncé correct : sur une échelle ordinale, on interprète les POSITIONS et non les DISTANCES ; l'écart entre 3,4 et 4,4 n'est pas comparable à celui entre 1,0 et 2,0, et la médiane reste le résumé sans hypothèse supplémentaire.

4) FAUX deux fois. D'abord, une corrélation calculée sur des régions décrit des régions et ne se transporte pas aux individus : c'est l'erreur écologique. Ensuite, un coefficient de corrélation n'est ni une probabilité ni un pourcentage de chances : 0,86 signifie que les points s'ajustent bien à une droite, et le carré, environ 0,74, indique la part de variance partagée. Énoncé correct : sur les régions du Québec, revenu moyen et taux de diplomation varient fortement ensemble, et il faudrait des données individuelles pour dire quoi que ce soit d'un individu.

5) FAUX. Les décimales relèvent de la précision d'ÉCRITURE, la rigueur relève de la validité de l'instrument et du plan de collecte. Écrire un revenu médian à 28 431,7382 dollars alors qu'il vient d'un échantillon de 300 ménages donne une fausse impression d'exactitude : la marge d'erreur se compte ici en centaines de dollars, et toutes les décimales affichées au-delà sont du bruit. Énoncé correct : le nombre de chiffres publiés doit refléter l'incertitude réelle de la mesure ; ajouter des décimales n'ajoute que de la confiance mal placée.

Exercice 9 : Problème : opérationnaliser la réussite au cégep

Un service de la réussite veut suivre « la réussite » de sa cohorte. Le mot est dans tous les documents officiels; aucun n'en donne la définition. Le travail consiste à en fabriquer une, et à en assumer les conséquences.

  • a) Proposez trois indicateurs de la réussite au collégial qui relèvent de trois dimensions distinctes, en précisant l'échelle de mesure de chacun.
  • b) Le service compare la moyenne générale au collégial de deux programmes : 76,4 en sciences humaines contre 73,1 en sciences de la nature. Peut-on conclure que l'on réussit mieux en sciences humaines ? Quelle mesure serait moins trompeuse ?
  • c) Le taux de diplomation en durée prévue est de 41 % pour la cohorte, et de 63 % après deux ans supplémentaires. Lequel des deux publier, et quel risque comporte le premier ?
  • d) Le service veut un indice unique combinant réussite des cours, persévérance et diplomation, avec les poids 0,4, 0,25 et 0,35. Les composantes normalisées valent 0,72, 0,58 et 0,41. Calculez l'indice, puis dites ce qui se passerait avec une moyenne géométrique.
  • e) Un membre du comité propose de retenir la cote R moyenne comme unique indicateur. Donnez deux arguments contre.

Tape tes réponses, la page te dit juste ou faux 0/14

a)
b)
c)
d)
e)
Voir la correction

Réponses

  • a) Pourcentage de cours réussis (rapport), inscription à la troisième session (nominale dichotomique), délai au diplôme (rapport)
  • b) Non : 76,476{,}4 et 73,173{,}1 viennent de cours et de barèmes différents ; le taux de réussite des cours est moins trompeur
  • c) Les deux, avec leur fenêtre ; le seul 41  %41\;\% exagère l'échec de 2222 points et pénalise les parcours atypiques
  • d) 0,57650{,}5765, soit environ 0,580{,}58 ; la moyenne géométrique donne 0,555\approx 0{,}555, un peu moins
  • e) Mesure relative presque constante sur une cohorte, et aveugle à la persévérance comme à la diplomation

a) Première dimension, la réussite des cours : le pourcentage de cours réussis à la première inscription, variable DE RAPPORT, avec un zéro absolu. Deuxième dimension, la persévérance : le fait d'être encore inscrit à la troisième session, variable NOMINALE dichotomique, ou le nombre de sessions complétées, variable de rapport. Troisième dimension, la certification : l'obtention du diplôme dans la durée prévue, variable nominale dichotomique, ou le délai en sessions jusqu'au diplôme, variable de rapport. Les trois dimensions ne se recouvrent pas : un étudiant peut réussir tous ses cours et abandonner, persévérer sans obtenir son diplôme, ou diplômer tardivement après un parcours accidenté.

b) Non, et pour une raison qui n'a rien à voir avec le talent des étudiants : les moyennes proviennent de cours différents, notés par des enseignants différents, dans des groupes dont les exigences ne sont pas alignées. Comparer 76,4 et 73,1 revient à comparer deux thermomètres non étalonnés. Une mesure moins trompeuse est le taux de réussite des cours, moins sensible à l'échelle de notation, ou mieux, une comparaison à niveau d'entrée égal, en tenant compte de la moyenne générale du secondaire des deux cohortes. C'est exactement la logique qui a fait naître la cote R : rendre comparables des notes qui ne le sont pas.

c) Il faut publier LES DEUX, en nommant explicitement la fenêtre de temps de chacun. Le taux en durée prévue, 41 %, mesure autant la fluidité des parcours que la réussite : il compte comme échecs les étudiants qui changent de programme, allègent leur session pour travailler ou prennent une session de plus, alors que beaucoup d'entre eux obtiendront leur diplôme. Publier ce seul chiffre exagère l'échec de près de vingt-deux points de pourcentage et pousse l'établissement à décourager les parcours atypiques plutôt qu'à les accompagner. Publier le seul taux à long terme, à l'inverse, masquerait les retards. La règle vaut au-delà du cas : un taux n'existe pas sans sa fenêtre d'observation.

d) Indice pondéré : 0,4×0,72+0,25×0,58+0,35×0,41=0,288+0,145+0,1435=0,57650{,}4\times 0{,}72+0{,}25\times 0{,}58+0{,}35\times 0{,}41=0{,}288+0{,}145+0{,}1435=0{,}5765, soit environ 0,58. Avec la moyenne géométrique 0,72×0,58×0,4130,555\sqrt[3]{0{,}72\times 0{,}58\times 0{,}41}\approx 0{,}555, on obtient un peu moins, parce que la moyenne géométrique refuse la compensation intégrale d'une composante faible, ici la diplomation, par une composante forte. Le choix entre les deux n'est pas technique : il dit si l'établissement accepte qu'un bon taux de réussite des cours rachète une diplomation basse.

e) Premier argument : la cote R est une mesure RELATIVE, construite pour classer un étudiant dans son groupe. Sa moyenne sur une cohorte entière est proche d'une constante par construction, ce qui la rend presque insensible aux progrès réels de l'établissement. Deuxième argument : elle ne dit rien de la persévérance ni de la diplomation, puisqu'elle n'existe que pour les cours suivis; un étudiant qui abandonne disparaît de la statistique et l'améliore. Un indicateur que l'on améliore en perdant des étudiants est exactement ce qu'un service de la réussite ne doit pas se donner comme cible.

Exercice 10 : Problème : lire la fiche technique d'une enquête

Toute enquête publiable s'accompagne d'une fiche technique. Savoir la lire est une compétence de fin de cours autant que de début : elle contient déjà, en quelques lignes, presque tout ce que l'on pourra reprocher aux résultats.

Fiche : enquête en ligne menée du 3 au 9 mars auprès de 1 012 résidents du Québec âgés de 18 ans et plus, recrutés dans un panel de volontaires; données pondérées selon l'âge, le sexe, la région et la langue maternelle; marge d'erreur de plus ou moins 3,1 points, 19 fois sur 20.

  • a) Identifiez la population visée, la base de sondage réellement utilisée et l'écart entre les deux.
  • b) Que fait la PONDÉRATION, et que ne corrige-t-elle pas ?
  • c) La marge d'erreur annoncée suppose un échantillon probabiliste. Pourquoi sa mention est-elle contestable ici, et que devrait dire la fiche ?
  • d) Vérifiez l'ordre de grandeur de la marge annoncée avec E=1,96p(1p)nE=1{,}96\sqrt{\dfrac{p(1-p)}{n}} pour p=0,5p=0{,}5 et n=1012n=1\,012.
  • e) Le communiqué titre : « Les Québécois rejettent la mesure à 54 % ». Le résultat brut est de 54 % pour, 41 % contre, 5 % sans opinion. Nommez deux problèmes dans ce titre.

Tape tes réponses, la page te dit juste ou faux 0/13

a)
b)
c)
d)
e)
Voir la correction

Réponses

  • a) Visée : les Québécois de 18 ans et plus. Réelle : un panel de volontaires. L'écart est un défaut de couverture
  • b) Elle rétablit la composition connue par le recensement ; elle ne corrige pas l'auto-sélection à l'intérieur d'une catégorie
  • c) Un panel de volontaires n'a pas de probabilité de sélection connue : la fiche devrait annoncer qu'aucune marge n'est calculable
  • d) E=1,96×0,015720,0308E=1{,}96\times 0{,}01572\approx 0{,}0308, soit 3,083{,}08 points, qui arrondit à 3,13{,}1
  • e) Le titre inverse le sens (les 54  %54\;\% sont POUR) et transforme une plage de 50,950{,}9 à 57,1  %57{,}1\;\% en énoncé sur « les Québécois »

a) Population VISÉE : l'ensemble des résidents du Québec de 18 ans et plus, soit environ 6,8 millions de personnes. Base de sondage réellement utilisée : les membres inscrits à un panel de volontaires en ligne, quelques dizaines de milliers de personnes qui se sont elles-mêmes portées candidates. L'écart entre les deux est le défaut de COUVERTURE : n'y figurent ni les personnes sans accès internet régulier, ni celles qui refusent d'adhérer à un panel, ni celles qui ne répondent jamais aux sollicitations. Ces exclusions ne sont pas réparties au hasard : elles concentrent les personnes âgées, isolées ou peu scolarisées, précisément des groupes dont les opinions diffèrent souvent de la moyenne.

b) La pondération redonne à chaque répondant un poids tel que la structure de l'échantillon, selon l'âge, le sexe, la région et la langue, reproduise celle de la population connue par le recensement. Si les 18-24 ans représentent 10 % de la population et 5 % des répondants, chacun d'eux compte double. Ce que la pondération ne corrige PAS : le fait que les 18-24 ans du panel ne ressemblent pas aux 18-24 ans du Québec. Elle corrige la composition, jamais la sélection à l'intérieur d'une catégorie. Autrement dit, elle traite un déséquilibre observable et laisse intact le biais d'auto-sélection, qui est le vrai problème d'un panel de volontaires.

c) La marge d'erreur est une quantité définie pour un échantillon PROBABILISTE, où chaque membre de la population a une probabilité connue et non nulle d'être choisi. Dans un panel de volontaires, cette probabilité n'existe pas : personne ne peut dire quelle chance avait un Québécois donné d'être interrogé. Publier tout de même une marge revient à emprunter la précision d'une méthode qu'on n'a pas employée. Les instituts sérieux écrivent donc, comme le recommandent leurs propres normes professionnelles, qu'un échantillon non probabiliste ne permet pas de calculer de marge d'erreur, et fournissent au mieux un intervalle de crédibilité assorti d'hypothèses explicites.

d) E=1,960,251012=1,960,000247=1,96×0,015720,0308E=1{,}96\sqrt{\dfrac{0{,}25}{1\,012}}=1{,}96\sqrt{0{,}000247}=1{,}96\times 0{,}01572\approx 0{,}0308, soit 3,08 points, ce qui arrondit bien à 3,1 points. Le calcul confirme donc l'arithmétique de la fiche, et c'est justement ce qui rend le chiffre trompeur : il est exact et il ne s'applique pas. Notez au passage la lenteur de la décroissance en 1n\dfrac{1}{\sqrt{n}} : pour ramener la marge à 1,5 point, il faudrait quadrupler l'échantillon, soit environ 4 270 répondants.

e) Premier problème, le sens : 54 % sont POUR et non contre; le titre inverse le résultat, ce qui est une faute de lecture pure et simple. Deuxième problème, l'écart au regard de l'incertitude : le titre transforme un résultat d'échantillon en énoncé sur « les Québécois », alors que 54 % avec une marge de 3,1 points signifie une plage de 50,9 % à 57,1 %, et que ce raisonnement suppose un échantillon probabiliste qu'on n'a pas. Un troisième reproche est possible : les 5 % sans opinion ont disparu du titre, ce qui laisse croire à un partage entre deux camps seulement. Le communiqué correct dirait qu'une majorité de répondants se déclare favorable, en donnant la plage et la nature du panel.

Chapitre suivant Échantillonnage et questionnaire

Ce chapitre resservira dans

Les chapitres qui le réclament en amont, plus tard dans l'année ou dans les années suivantes.

Voir aussi

Vous cherchez un tuteur en méthodes quantitatives à Montréal ?

Contactez-moi pour une première séance. Les méthodes quantitatives sont le seul cours de mathématiques obligatoire en sciences humaines, et c'est aussi celui qui décide le plus souvent de la cote R d'une session.

Site par Studio Squalli