Méthodes quantitatives 360-300 • Sciences humaines au cégep à Montréal

Fiche de révision : devis de recherche et lecture critique

Cette fiche traite le chapitre qui décide de la note à l'épreuve synthèse : celui où l'on doit lire une étude et dire ce qu'elle permet vraiment de conclure. Elle ne redonne pas la liste des devis, elle donne les huit endroits où une étude honnête produit une conclusion fausse, et la phrase qui répare chacun.

Elle s'adresse aux étudiants de Sciences humaines du cégep qui suivent le cours obligatoire de méthodes quantitatives 360-300, et elle sert aussi pour la lecture des articles en psychologie, en sociologie et en économie. La série d'exercices corrigés du même chapitre met chaque réflexe à l'épreuve sur des cas réels.

Le fil du chapitre

Un résultat ne vaut jamais mieux que le DEVIS qui l'a produit. Tout le chapitre revient à une seule question : que serait-il arrivé sans l'intervention, et qu'est-ce qui permet de le savoir ?

Ce chapitre fait partie de Méthodes quantitatives en sciences humaines : tous les chapitres du 360-300

Avant ce chapitre

Cette fiche suppose ces notions acquises. Si une méthode ci-dessous reste opaque, c'est presque toujours l'une d'elles qui manque, pas la fiche.

Remonter plus loin : la chaîne complète (5 chapitres) ↓

Le chemin de remédiation, du plus ancien au plus proche. Un élève qui reprend ce chapitre de zéro le reprend dans cet ordre.

  1. 1Concepts, variables et échelles de mesure
  2. 2Échantillonnage et questionnaire
  3. 3Tableaux de distribution et graphiques
  4. 4Cote Z, rang centile et cote R
  5. 5La marge d'erreur d'un sondage

L'essentiel

Ce qu'on teste, et ce qu'on ne démontre jamais

  • Une HYPOTHÈSE doit être falsifiable : on doit pouvoir dire d'avance quel résultat la contredirait.
  • On teste H0H_{0}, l'hypothèse d'absence d'effet, et on cherche à la REJETER. L'hypothèse du chercheur est l'alternative.
  • On ne démontre donc jamais directement ce que l'on croit : au mieux, on rend l'explication par le hasard peu crédible.
  • La valeur pp est la probabilité de l'écart observé SI H0H_{0} est vraie. Ce n'est jamais la probabilité que H0H_{0} soit vraie.

Une conclusion de test s'écrit toujours au conditionnel de la preuve : « les données permettent de rejeter », jamais « il est prouvé que ».

Les cinq devis, et les deux tirages au sort

  • Du plus faible au plus solide : étude de cas, transversal, longitudinal, quasi expérimental, expérimental.
  • ÉCHANTILLONNAGE aléatoire : qui est étudié. Il protège la validité EXTERNE, c'est-à-dire la possibilité de généraliser.
  • ASSIGNATION aléatoire : qui reçoit le traitement. Elle protège la validité INTERNE, c'est-à-dire le droit de parler de cause.
  • Trois conditions de la causalité : ASSOCIATION, ANTÉRIORITÉ, NON-FALLACE. Un tableau croisé n'établit que la première.

Une expérience de laboratoire sur trente volontaires a une excellente validité interne et une validité externe déplorable : les deux qualités sont indépendantes.

Les sept menaces, et les deux qui reviennent toujours

  • Maturation, histoire, testage, instrumentation, sélection, attrition, régression vers la moyenne : ce sont les sept menaces à la validité interne.
  • RÉGRESSION VERS LA MOYENNE : après sélection sur une valeur extrême, la prédiction est z2=rz1z_{2}=r\,z_{1}. Le mouvement est symétrique et ne demande aucune intervention.
  • DIFFÉRENCE DE DIFFÉRENCES : gain du groupe traité moins gain du groupe témoin. C'est ce que le programme a ajouté à ce qui serait arrivé de toute façon.
  • Sur kk tests indépendants au seuil de 5 %, la probabilité d'au moins un faux positif vaut 10,95k1-0{,}95^{k}; elle dépasse 50 % dès 1414 tests.

Correction de Bonferroni : α=αk\alpha'=\dfrac{\alpha}{k}. Elle rétablit le risque global au prix de la puissance, donc elle se décide AVANT de regarder les résultats.

Les pièges qui coûtent des points

Les erreurs ci-dessous sont celles que je corrige le plus souvent en séance. Chacune coûte des points sur une copie, même quand le raisonnement est juste.

1. Vouloir démontrer directement l'hypothèse du chercheur

1 point de rédaction, retiré à chaque conclusion

Ce qu'il ne faut pas écrire

« Le test confirme mon hypothèse : le tutorat améliore les résultats. »

Ce qu'il faut écrire

« Le test rejette l'hypothèse nulle d'absence d'effet au seuil de 5 % : les données sont peu compatibles avec l'idée que le tutorat ne change rien. »

Pourquoi : Un test n'accepte jamais une hypothèse, il en rejette une. La nuance n'est pas de la coquetterie : elle rappelle qu'un autre mécanisme peut produire le même écart.

2. Confondre échantillonnage aléatoire et assignation aléatoire

2 points, et c'est la question de méthode la plus fréquente

Ce qu'il ne faut pas écrire

« Les participants ont été tirés au sort dans la population : l'étude est donc expérimentale et permet de conclure à une cause. »

Ce qu'il faut écrire

« Le tirage porte sur QUI est étudié, donc sur la validité externe. Pour parler de cause, il faut que le tirage porte aussi sur QUI reçoit le traitement. »

Pourquoi : Les deux tirages ont le même nom et des rôles opposés. Généraliser et attribuer une cause sont deux opérations différentes, protégées par deux dispositifs différents.

3. Conclure à la causalité depuis un devis transversal

toute la question de conclusion

Ce qu'il ne faut pas écrire

« Les étudiants qui font du sport ont de meilleures notes : le sport améliore les résultats scolaires. »

Ce qu'il faut écrire

« Les deux variables sont associées à un instant donné. Rien ne dit laquelle précède l'autre, ni qu'une troisième, comme l'organisation personnelle, ne les explique pas toutes les deux. »

Pourquoi : Un devis transversal mesure tout au même moment : il ne peut établir ni l'antériorité ni la non-fallace, soit deux des trois conditions de la causalité.

4. Prendre la régression vers la moyenne pour un effet du programme

toute la conclusion, et c'est le piège favori des examens de fin de session

Ce qu'il ne faut pas écrire

« Les quarante étudiants en difficulté ont progressé de 4848 à 6060 après le tutorat : le programme fonctionne. »

Ce qu'il faut écrire

« Sélectionnés sur un résultat extrême, ces étudiants seraient remontés de toute façon : avec r=0,6r=0{,}6, la prédiction sans aucune intervention est z2=0,6z1z_{2}=0{,}6\,z_{1}, soit environ 5555. »

-3-2-10+1+2+3-3-2-10+1+2+3on sélectionne les plus extrêmessans aucune interventionavantaprèsla moyenne s'est rapprochée du centre
Le groupe choisi tout à droite de la première droite se retrouve, sur la seconde, plus près du centre : rien d'autre ne s'est produit entre les deux mesures.

Pourquoi : Toute sélection sur une valeur extrême attrape une part de malchance, qui ne se répète pas. Le phénomène est purement statistique et ne demande aucun mécanisme.

5. Comparer un avant et un après sans groupe témoin

2 points, et un effet surestimé du triple

Ce qu'il ne faut pas écrire

« Le groupe est passé de 6060 à 7272 : le programme a apporté 1212 points. »

Ce qu'il faut écrire

« Le groupe témoin est passé de 5858 à 6666 sans programme. L'effet propre est la DIFFÉRENCE DE DIFFÉRENCES : 128=412-8=4 points. »

groupe traité : +12témoin : +860725866avantaprèsavantaprèsdifférence de différences : 12 - 8 = 4
Les deux groupes progressent; seule la part qui dépasse la progression du témoin, ici quatre points, peut être attribuée au programme.

Pourquoi : Entre les deux mesures, tout le monde a vieilli, révisé, passé d'autres cours. Le groupe témoin sert exactement à mesurer ce que ces facteurs auraient produit seuls.

6. Tester vingt hypothèses et publier la significative

toute la conclusion de l'étude

Ce qu'il ne faut pas écrire

« Sur les vingt croisements testés, celui du programme et du sexe est significatif à 5 % : voilà notre résultat. »

Ce qu'il faut écrire

« Sur vingt tests indépendants au seuil de 5 %, on attend UN résultat significatif par pur hasard. Il faut corriger le seuil, par exemple α=0,0520=0,0025\alpha'=\dfrac{0{,}05}{20}=0{,}0025, ou annoncer que l'analyse est exploratoire. »

risque d'au moins un faux positif (%)à 14 tests, une chance sur deux051015202530255075100nombre de tests effectués
La courbe part à 5 % pour un seul test et franchit les 50 % au quatorzième : c'est le nombre de tests, et non leur qualité, qui fabrique le faux positif.

Pourquoi : Le seuil de 5 % est un risque PAR TEST. Multiplier les tests multiplie les occasions de se tromper : à quatorze tests, le risque d'au moins un faux positif dépasse déjà une chance sur deux.

7. N'analyser que ceux qui ont vraiment suivi le traitement

2 points, et le résultat devient ininterprétable

Ce qu'il ne faut pas écrire

« Nous retirons les douze participants qui ont abandonné le tutorat en cours de route : ils fausseraient les résultats. »

Ce qu'il faut écrire

« On analyse en INTENTION DE TRAITER : chacun reste dans le groupe où il a été assigné. L'abandon est un effet du programme, pas un défaut des données. »

Pourquoi : Ceux qui abandonnent ne ressemblent pas à ceux qui persistent. Les retirer recrée par la petite porte le biais de sélection que l'assignation aléatoire avait éliminé.

8. Confondre une petite valeur p et un effet important

1,5 point, et la question sur la portée pratique

Ce qu'il ne faut pas écrire

« p<0,001p<0{,}001 : l'effet du programme est considérable. »

Ce qu'il faut écrire

« p<0,001p<0{,}001 dit que l'effet est très peu compatible avec le hasard. Son importance se lit sur la TAILLE D'EFFET, ici d=0,40d=0{,}40, soit un effet modeste. »

Pourquoi : La valeur pp dépend de l'effectif; la taille d'effet, non. Avec dix mille participants, un écart sans aucune portée pratique devient très significatif.

Quelle méthode choisir

Quel devis l'énoncé décrit-il, et que permet-il ?

On cherche deux choses dans la description : y a-t-il plusieurs MOMENTS de mesure, et y a-t-il une ASSIGNATION au traitement ?

  • Si un seul cas, décrit en profondeur ÉTUDE DE CAS : elle génère des hypothèses, elle n'en teste aucune

    Exemple : le portrait d'un seul cégep

  • Si une seule mesure, à un seul moment, sur plusieurs unités TRANSVERSAL : association seulement, ni antériorité ni non-fallace

    Exemple : un sondage sur le sport et les notes

  • Si les mêmes unités mesurées à plusieurs moments, sans traitement assigné LONGITUDINAL : l'antériorité est établie, la non-fallace toujours pas

    Exemple : une cohorte suivie sur trois sessions

  • Si un groupe reçoit le traitement, un autre non, mais SANS tirage au sort QUASI EXPÉRIMENTAL : différence de différences possible, sélection à discuter

    Exemple : les volontaires du tutorat comparés aux autres

  • Si l'assignation au traitement est TIRÉE AU SORT EXPÉRIMENTAL : la causalité est établie sur la population étudiée

    Exemple : cent étudiants répartis au hasard en deux groupes

Le mot « aléatoire » dans un énoncé ne suffit pas : il faut lire SUR QUOI porte le tirage, le recrutement ou l'assignation.

Quelle menace explique ce résultat sans le programme ?

Devant une amélioration observée, on passe la liste des menaces avant de créditer l'intervention.

  • Si les participants ont été choisis parce qu'ils étaient extrêmes RÉGRESSION VERS LA MOYENNE : calculer z2=rz1z_{2}=r\,z_{1} et comparer

    Exemple : les quarante plus faibles du premier examen

  • Si il s'est passé autre chose entre les deux mesures, pour tout le monde HISTOIRE : seul un groupe témoin permet de la neutraliser

    Exemple : un changement de professeur à mi-session

  • Si le temps seul suffirait à expliquer le progrès MATURATION : les participants ont simplement avancé dans leur cursus

    Exemple : des étudiants de première session comparés six mois plus tard

  • Si le premier test a appris quelque chose aux participants TESTAGE : utiliser des versions différentes des deux épreuves

    Exemple : le même questionnaire passé deux fois

  • Si les deux groupes n'ont pas perdu les mêmes gens en route ATTRITION : analyser en intention de traiter et comparer les profils des perdus de vue

    Exemple : les plus faibles abandonnent le groupe traité

Si aucune menace ne s'applique et que l'assignation a été tirée au sort, alors, et alors seulement, on peut écrire que le programme est la cause.

La rédaction attendue

Le correcteur coche des étapes. Les voici dans l'ordre, avec la phrase de conclusion qu'il attend mot pour mot.

Évaluer un programme, du devis à la conclusion

Quand l'utiliser : Dès que l'énoncé propose une intervention et demande si elle a fonctionné.

  1. 1 Nommer le devis et dire ce qu'il autorise : association, antériorité, causalité.
  2. 2 Écrire H0H_{0} et H1H_{1} en mots, sur la population concernée.
  3. 3 Calculer le gain du groupe traité ET celui du groupe témoin, puis leur DIFFÉRENCE.
  4. 4 Passer la liste des menaces à la validité interne et en écarter explicitement au moins deux.
  5. 5 Donner la taille d'effet à côté de la conclusion du test, et terminer par la portée : sur qui ce résultat peut-il être généralisé ?

Phrase de conclusion

« Le devis est quasi expérimental : les participants se sont portés volontaires, donc l'assignation n'est pas aléatoire. La différence de différences est de 44 points, soit une taille d'effet de 0,400{,}40. La sélection sur un résultat faible impose de tenir compte de la régression vers la moyenne, ce que fait le groupe témoin. »

Le piège : Conclure sur le gain brut du groupe traité : c'est le nombre qui figure dans le communiqué, et c'est celui qui ne mesure rien.

Barème : 1 point pour le devis nommé, 1 point pour les hypothèses, 2 points pour la différence de différences, 1 point par menace écartée, 1 point pour la taille d'effet.

Critiquer une étude publiée en cinq questions

Quand l'utiliser : Quand l'énoncé fournit un article de presse ou un résumé de recherche à commenter.

  1. 1 Qui a été étudié, et comment ces personnes ont-elles été recrutées ?
  2. 2 Le traitement a-t-il été assigné, et par qui ?
  3. 3 Quelle est la variable dépendante, et comment a-t-elle été mesurée ?
  4. 4 Combien de comparaisons ont été faites, et le seuil a-t-il été corrigé ?
  5. 5 Quelle est la taille d'effet, et non seulement la valeur pp ?

Phrase de conclusion

« L'étude établit une association sur un échantillon de volontaires, sans assignation aléatoire ni correction pour les comparaisons multiples : elle autorise une hypothèse, pas une conclusion causale. »

Le piège : Critiquer la taille de l'échantillon en premier : c'est presque toujours le défaut le moins grave, et le correcteur attend le devis.

Barème : 1 point par question traitée, avec la justification tirée du texte fourni.

Vérifier avant de rendre

Cinq minutes de vérification récupèrent plus de points qu'un exercice de plus commencé à la hâte.

L'exercice type décortiqué

Évaluer un tutorat par les pairs, du gain brut à l'effet réel

Quarante étudiants ayant échoué au premier examen, de moyenne 4848, suivent un tutorat par les pairs. À l'examen suivant, leur moyenne est de 6060.

Un groupe témoin de quarante étudiants, également sélectionnés sur leur échec, de moyenne 4747, n'a rien reçu; sa moyenne passe à 5555.

La moyenne de la cohorte est de 6565, l'écart-type de 1010, et la corrélation entre les deux examens vaut 0,60{,}6.

Étape 1

H0H_{0} : le tutorat ne change pas la note moyenne. H1H_{1} : il l'augmente. Devis QUASI EXPÉRIMENTAL : les participants sont volontaires, l'assignation n'est pas tirée au sort.

Pourquoi

Nommer le devis en premier fixe d'emblée ce que la conclusion aura le droit de dire, et vaut un point à lui seul.

Étape 2

Gain brut du groupe traité : 6048=1260-48=12 points. Gain du groupe témoin : 5547=855-47=8 points.

Pourquoi

Le second chiffre est celui que le communiqué de presse ne cite jamais, et c'est le seul qui donne un point de comparaison.

Étape 3

Régression vers la moyenne : z1=486510=1,70z_{1}=\dfrac{48-65}{10}=-1{,}70, donc z2=0,6×(1,70)=1,02z_{2}=0{,}6\times(-1{,}70)=-1{,}02, soit une note attendue de 6510,2=54,865-10{,}2=54{,}8.

Pourquoi

Sans aucune intervention, on prédit 54,854{,}8 : c'est exactement la moyenne observée du groupe témoin. Le phénomène est chiffré, pas invoqué.

Étape 4

Différence de différences : 128=412-8=4 points.

Pourquoi

C'est ce que le tutorat a ajouté à ce qui serait arrivé de toute façon. L'effet annoncé passe de 1212 à 44, soit le tiers.

Étape 5

Taille d'effet : d=410=0,40d=\dfrac{4}{10}=0{,}40. Effectif requis pour une puissance de 80 % : n2(1,96+0,84)20,402=98n\approx\dfrac{2(1{,}96+0{,}84)^{2}}{0{,}40^{2}}=98 par groupe.

Pourquoi

Avec quarante participants par groupe, l'étude est sous-puissante : elle a moins d'une chance sur deux de détecter l'effet qu'elle cherche, même s'il existe.

Étape 6

Contrôle : si l'on avait aussi testé cinq sous-groupes, le risque d'au moins un faux positif serait 10,95522,61-0{,}95^{5}\approx 22{,}6 %.

Pourquoi

Ce chiffre décide si un résultat de sous-groupe mérite d'être rapporté. Sans correction, il s'agit d'une exploration, pas d'un test.

Conclusion rédigée

« Le tutorat est associé à un gain de 44 points au-delà de la progression spontanée du groupe témoin, soit une taille d'effet de 0,400{,}40. Le devis étant quasi expérimental et l'étude sous-puissante avec quarante participants par groupe, ce résultat justifie une expérience à assignation aléatoire, pas une conclusion causale. »

L'erreur classique sur cet exercice : Annoncer un gain de 1212 points : le groupe témoin en a gagné 88 sans rien recevoir, et la régression vers la moyenne à elle seule prédisait 54,854{,}8.

À savoir par cœur

  • On teste H0H_{0} et on cherche à la REJETER. On ne démontre jamais directement l'hypothèse du chercheur.
  • ÉCHANTILLONNAGE aléatoire, validité EXTERNE. ASSIGNATION aléatoire, validité INTERNE. Les deux tirages n'ont pas le même rôle.
  • Causalité : ASSOCIATION, ANTÉRIORITÉ, NON-FALLACE. Un devis transversal n'établit que la première.
  • Sélection sur une valeur extrême : la prédiction sans intervention est z2=rz1z_{2}=r\,z_{1}, et le retour vers le centre est automatique.
  • Effet propre d'un programme = gain du traité MOINS gain du témoin.
  • Sur kk tests au seuil de 5 %, le risque d'au moins un faux positif vaut 10,95k1-0{,}95^{k}, et dépasse 50 % dès 1414 tests.
  • INTENTION DE TRAITER : chacun reste dans le groupe où il a été assigné, même s'il a abandonné.

Questions fréquentes

Qu'est-ce que la régression vers la moyenne ?

C'est le retour vers le centre observé quand on sélectionne un groupe sur une valeur extrême, puis qu'on le remesure. Une partie du résultat extrême venait de la malchance, qui ne se répète pas. La prédiction sans aucune intervention est la cote Z de départ multipliée par la corrélation entre les deux mesures. C'est un fait statistique, pas un effet de programme.

Quelle différence entre validité interne et validité externe ?

La validité interne est le droit d'attribuer l'effet observé au traitement plutôt qu'à autre chose : elle est protégée par l'assignation aléatoire. La validité externe est le droit de généraliser à une population plus large : elle est protégée par l'échantillonnage aléatoire. Une expérience de laboratoire excelle dans la première et échoue souvent dans la seconde.

Comment calculer l'effet réel d'un programme ?

Par la différence de différences : on calcule le gain du groupe qui a reçu le programme, le gain du groupe témoin sur la même période, puis on soustrait le second du premier. Le résultat est ce que le programme a ajouté à ce qui serait arrivé de toute façon. Sans groupe témoin, le gain brut mélange l'effet du programme et tout le reste.

Pourquoi corriger le seuil quand on fait plusieurs tests ?

Parce que le seuil de cinq pour cent est un risque par test. Sur vingt tests indépendants, on attend un résultat significatif par pur hasard, et le risque d'en obtenir au moins un dépasse cinquante pour cent dès quatorze tests. La correction de Bonferroni divise le seuil par le nombre de tests, ce qui rétablit le risque global au prix de la puissance.

Une valeur p très petite veut-elle dire un effet important ?

Non. La valeur p mesure à quel point le résultat serait improbable si le traitement ne changeait rien, et elle diminue mécaniquement quand l'échantillon grandit. L'importance se lit sur la taille d'effet, qui ne dépend pas de l'effectif. Avec dix mille participants, un écart sans aucune portée pratique devient hautement significatif.

Passer à la pratique

Exercices corrigés : Devis de recherche et lecture critique

Une méthode se prouve sur une copie, pas sur une fiche. La série du même chapitre reprend chacun de ces pièges dans un exercice, avec le corrigé rédigé étape par étape.

  • 10 exercices corrigés
  • 100 points
  • 150 minutes
Faire les exercices
Fiche précédente La marge d'erreur d'un sondage

Voir aussi

Vous cherchez un tuteur en méthodes quantitatives à Montréal ?

Contactez-moi pour une première séance. Les méthodes quantitatives sont le seul cours de mathématiques obligatoire en sciences humaines, et c'est aussi celui qui décide le plus souvent de la cote R d'une session.

Site par Studio Squalli