Méthodes quantitatives 360-300 • Sciences humaines au cégep à Montréal
Fiche de révision : devis de recherche et lecture critique
Cette fiche traite le chapitre qui décide de la note à l'épreuve synthèse : celui où l'on doit lire une étude et dire ce qu'elle permet vraiment de conclure. Elle ne redonne pas la liste des devis, elle donne les huit endroits où une étude honnête produit une conclusion fausse, et la phrase qui répare chacun.
Elle s'adresse aux étudiants de Sciences humaines du cégep qui suivent le cours obligatoire de méthodes quantitatives 360-300, et elle sert aussi pour la lecture des articles en psychologie, en sociologie et en économie. La série d'exercices corrigés du même chapitre met chaque réflexe à l'épreuve sur des cas réels.
Marque ici la fiche comme lue ou mets-la en favori : un compte gratuit, sans mot de passe, retient tes fiches lues et tes favoris d'une visite à l'autre, te dit quel chapitre attaquer ensuite et te permet de demander la méthode ou l'exercice qui te manque. Crée ton espace, un courriel suffit.
Le fil du chapitre
Un résultat ne vaut jamais mieux que le DEVIS qui l'a produit. Tout le chapitre revient à une seule question : que serait-il arrivé sans l'intervention, et qu'est-ce qui permet de le savoir ?
•Une HYPOTHÈSE doit être falsifiable : on doit pouvoir dire d'avance quel résultat la contredirait.
•On teste H0, l'hypothèse d'absence d'effet, et on cherche à la REJETER. L'hypothèse du chercheur est l'alternative.
•On ne démontre donc jamais directement ce que l'on croit : au mieux, on rend l'explication par le hasard peu crédible.
•La valeur p est la probabilité de l'écart observé SI H0 est vraie. Ce n'est jamais la probabilité que H0 soit vraie.
La valeur p est l'aire, sous la distribution qu'on attendrait si H₀ était vraie, au-delà de l'écart observé : une probabilité calculée SI H₀ est vraie, pas la probabilité de H₀.
Une conclusion de test s'écrit toujours au conditionnel de la preuve : « les données permettent de rejeter », jamais « il est prouvé que ».
Les cinq devis, et les deux tirages au sort
•Du plus faible au plus solide : étude de cas, transversal, longitudinal, quasi expérimental, expérimental.
•ÉCHANTILLONNAGE aléatoire : qui est étudié. Il protège la validité EXTERNE, c'est-à-dire la possibilité de généraliser.
•ASSIGNATION aléatoire : qui reçoit le traitement. Elle protège la validité INTERNE, c'est-à-dire le droit de parler de cause.
•Trois conditions de la causalité : ASSOCIATION, ANTÉRIORITÉ, NON-FALLACE. Un tableau croisé n'établit que la première.
Le premier tirage choisit QUI est étudié (généraliser), le second QUI reçoit le traitement (attribuer une cause) : deux tirages, deux validités.
Une expérience de laboratoire sur trente volontaires a une excellente validité interne et une validité externe déplorable : les deux qualités sont indépendantes.
Les sept menaces, et les deux qui reviennent toujours
•Maturation, histoire, testage, instrumentation, sélection, attrition, régression vers la moyenne : ce sont les sept menaces à la validité interne.
•RÉGRESSION VERS LA MOYENNE : après sélection sur une valeur extrême, la prédiction est z2=rz1. Le mouvement est symétrique et ne demande aucune intervention.
•DIFFÉRENCE DE DIFFÉRENCES : gain du groupe traité moins gain du groupe témoin. C'est ce que le programme a ajouté à ce qui serait arrivé de toute façon.
•Sur k tests indépendants au seuil de 5 %, la probabilité d'au moins un faux positif vaut 1−0,95k; elle dépasse 50 % dès 14 tests.
Avec r = 0,6, le groupe pris à z₁ = −1,7 est prédit à z₂ = −1,02 : la droite bleue est plus plate que la diagonale, tout extrême se rapproche du centre.
Correction de Bonferroni : α′=kα. Elle rétablit le risque global au prix de la puissance, donc elle se décide AVANT de regarder les résultats.
Les pièges qui coûtent des points
Les erreurs ci-dessous sont celles que je corrige le plus souvent en séance. Chacune coûte des points sur une copie, même quand le raisonnement est juste.
1.Vouloir démontrer directement l'hypothèse du chercheur
1 point de rédaction, retiré à chaque conclusion
Ce qu'il ne faut pas écrire
« Le test confirme mon hypothèse : le tutorat améliore les résultats. »
Ce qu'il faut écrire
« Le test rejette l'hypothèse nulle d'absence d'effet au seuil de 5 % : les données sont peu compatibles avec l'idée que le tutorat ne change rien. »
Pourquoi : Un test n'accepte jamais une hypothèse, il en rejette une. La nuance n'est pas de la coquetterie : elle rappelle qu'un autre mécanisme peut produire le même écart.
2.Confondre échantillonnage aléatoire et assignation aléatoire
2 points, et c'est la question de méthode la plus fréquente
Ce qu'il ne faut pas écrire
« Les participants ont été tirés au sort dans la population : l'étude est donc expérimentale et permet de conclure à une cause. »
Ce qu'il faut écrire
« Le tirage porte sur QUI est étudié, donc sur la validité externe. Pour parler de cause, il faut que le tirage porte aussi sur QUI reçoit le traitement. »
Pourquoi : Les deux tirages ont le même nom et des rôles opposés. Généraliser et attribuer une cause sont deux opérations différentes, protégées par deux dispositifs différents.
3.Conclure à la causalité depuis un devis transversal
toute la question de conclusion
Ce qu'il ne faut pas écrire
« Les étudiants qui font du sport ont de meilleures notes : le sport améliore les résultats scolaires. »
Ce qu'il faut écrire
« Les deux variables sont associées à un instant donné. Rien ne dit laquelle précède l'autre, ni qu'une troisième, comme l'organisation personnelle, ne les explique pas toutes les deux. »
Mesurés au même moment, sport et notes peuvent agir dans un sens, dans l'autre, ou dépendre tous les deux d'une troisième variable (orange).
Pourquoi : Un devis transversal mesure tout au même moment : il ne peut établir ni l'antériorité ni la non-fallace, soit deux des trois conditions de la causalité.
4.Prendre la régression vers la moyenne pour un effet du programme
toute la conclusion, et c'est le piège favori des examens de fin de session
Ce qu'il ne faut pas écrire
« Les quarante étudiants en difficulté ont progressé de 48 à 60 après le tutorat : le programme fonctionne. »
Ce qu'il faut écrire
« Sélectionnés sur un résultat extrême, ces étudiants seraient remontés de toute façon : avec r=0,6, la prédiction sans aucune intervention est z2=0,6z1, soit environ 55. »
Le groupe choisi tout à droite de la première droite se retrouve, sur la seconde, plus près du centre : rien d'autre ne s'est produit entre les deux mesures.
Pourquoi : Toute sélection sur une valeur extrême attrape une part de malchance, qui ne se répète pas. Le phénomène est purement statistique et ne demande aucun mécanisme.
5.Comparer un avant et un après sans groupe témoin
2 points, et un effet surestimé du triple
Ce qu'il ne faut pas écrire
« Le groupe est passé de 60 à 72 : le programme a apporté 12 points. »
Ce qu'il faut écrire
« Le groupe témoin est passé de 58 à 66 sans programme. L'effet propre est la DIFFÉRENCE DE DIFFÉRENCES : 12−8=4 points. »
Les deux groupes progressent; seule la part qui dépasse la progression du témoin, ici quatre points, peut être attribuée au programme.
Pourquoi : Entre les deux mesures, tout le monde a vieilli, révisé, passé d'autres cours. Le groupe témoin sert exactement à mesurer ce que ces facteurs auraient produit seuls.
6.Tester vingt hypothèses et publier la significative
toute la conclusion de l'étude
Ce qu'il ne faut pas écrire
« Sur les vingt croisements testés, celui du programme et du sexe est significatif à 5 % : voilà notre résultat. »
Ce qu'il faut écrire
« Sur vingt tests indépendants au seuil de 5 %, on attend UN résultat significatif par pur hasard. Il faut corriger le seuil, par exemple α′=200,05=0,0025, ou annoncer que l'analyse est exploratoire. »
La courbe part à 5 % pour un seul test et franchit les 50 % au quatorzième : c'est le nombre de tests, et non leur qualité, qui fabrique le faux positif.
Pourquoi : Le seuil de 5 % est un risque PAR TEST. Multiplier les tests multiplie les occasions de se tromper : à quatorze tests, le risque d'au moins un faux positif dépasse déjà une chance sur deux.
7.N'analyser que ceux qui ont vraiment suivi le traitement
2 points, et le résultat devient ininterprétable
Ce qu'il ne faut pas écrire
« Nous retirons les douze participants qui ont abandonné le tutorat en cours de route : ils fausseraient les résultats. »
Ce qu'il faut écrire
« On analyse en INTENTION DE TRAITER : chacun reste dans le groupe où il a été assigné. L'abandon est un effet du programme, pas un défaut des données. »
Sur 40 étudiants assignés au tutorat, 12 abandonnent (orange) : l'intention de traiter les garde tous, l'analyse par protocole les retire et refabrique un biais de sélection.
Pourquoi : Ceux qui abandonnent ne ressemblent pas à ceux qui persistent. Les retirer recrée par la petite porte le biais de sélection que l'assignation aléatoire avait éliminé.
8.Confondre une petite valeur p et un effet important
1,5 point, et la question sur la portée pratique
Ce qu'il ne faut pas écrire
« p<0,001 : l'effet du programme est considérable. »
Ce qu'il faut écrire
« p<0,001 dit que l'effet est très peu compatible avec le hasard. Son importance se lit sur la TAILLE D'EFFET, ici d=0,40, soit un effet modeste. »
Deux distributions décalées de 0,40 écart-type se recouvrent presque entièrement : avec un grand effectif, p devient minuscule, l'effet reste modeste.
Pourquoi : La valeur p dépend de l'effectif; la taille d'effet, non. Avec dix mille participants, un écart sans aucune portée pratique devient très significatif.
Quelle méthode choisir
Quel devis l'énoncé décrit-il, et que permet-il ?
On cherche deux choses dans la description : y a-t-il plusieurs MOMENTS de mesure, et y a-t-il une ASSIGNATION au traitement ?
Les cinq devis, du plus faible au plus solide : seule la dernière marche, l'assignation tirée au sort, autorise à parler de cause.
Si un seul cas, décrit en profondeur → ÉTUDE DE CAS : elle génère des hypothèses, elle n'en teste aucune
Exemple : le portrait d'un seul cégep
Si une seule mesure, à un seul moment, sur plusieurs unités → TRANSVERSAL : association seulement, ni antériorité ni non-fallace
Exemple : un sondage sur le sport et les notes
Si les mêmes unités mesurées à plusieurs moments, sans traitement assigné → LONGITUDINAL : l'antériorité est établie, la non-fallace toujours pas
Exemple : une cohorte suivie sur trois sessions
Si un groupe reçoit le traitement, un autre non, mais SANS tirage au sort → QUASI EXPÉRIMENTAL : différence de différences possible, sélection à discuter
Exemple : les volontaires du tutorat comparés aux autres
Si l'assignation au traitement est TIRÉE AU SORT → EXPÉRIMENTAL : la causalité est établie sur la population étudiée
Exemple : cent étudiants répartis au hasard en deux groupes
Le mot « aléatoire » dans un énoncé ne suffit pas : il faut lire SUR QUOI porte le tirage, le recrutement ou l'assignation.
Quelle menace explique ce résultat sans le programme ?
Devant une amélioration observée, on passe la liste des menaces avant de créditer l'intervention.
Si les participants ont été choisis parce qu'ils étaient extrêmes → RÉGRESSION VERS LA MOYENNE : calculer z2=rz1 et comparer
Exemple : les quarante plus faibles du premier examen
Si il s'est passé autre chose entre les deux mesures, pour tout le monde → HISTOIRE : seul un groupe témoin permet de la neutraliser
Exemple : un changement de professeur à mi-session
Si le temps seul suffirait à expliquer le progrès → MATURATION : les participants ont simplement avancé dans leur cursus
Exemple : des étudiants de première session comparés six mois plus tard
Si le premier test a appris quelque chose aux participants → TESTAGE : utiliser des versions différentes des deux épreuves
Exemple : le même questionnaire passé deux fois
Si les deux groupes n'ont pas perdu les mêmes gens en route → ATTRITION : analyser en intention de traiter et comparer les profils des perdus de vue
Exemple : les plus faibles abandonnent le groupe traité
Si aucune menace ne s'applique et que l'assignation a été tirée au sort, alors, et alors seulement, on peut écrire que le programme est la cause.
La rédaction attendue
Le correcteur coche des étapes. Les voici dans l'ordre, avec la phrase de conclusion qu'il attend mot pour mot.
Évaluer un programme, du devis à la conclusion
Quand l'utiliser : Dès que l'énoncé propose une intervention et demande si elle a fonctionné.
1Nommer le devis et dire ce qu'il autorise : association, antériorité, causalité.
2Écrire H0 et H1 en mots, sur la population concernée.
3Calculer le gain du groupe traité ET celui du groupe témoin, puis leur DIFFÉRENCE.
4Passer la liste des menaces à la validité interne et en écarter explicitement au moins deux.
5Donner la taille d'effet à côté de la conclusion du test, et terminer par la portée : sur qui ce résultat peut-il être généralisé ?
Phrase de conclusion
« Le devis est quasi expérimental : les participants se sont portés volontaires, donc l'assignation n'est pas aléatoire. La différence de différences est de 4 points, soit une taille d'effet de 0,40. La sélection sur un résultat faible impose de tenir compte de la régression vers la moyenne, ce que fait le groupe témoin. »
Le piège : Conclure sur le gain brut du groupe traité : c'est le nombre qui figure dans le communiqué, et c'est celui qui ne mesure rien.
Barème : 1 point pour le devis nommé, 1 point pour les hypothèses, 2 points pour la différence de différences, 1 point par menace écartée, 1 point pour la taille d'effet.
Critiquer une étude publiée en cinq questions
Quand l'utiliser : Quand l'énoncé fournit un article de presse ou un résumé de recherche à commenter.
1Qui a été étudié, et comment ces personnes ont-elles été recrutées ?
2Le traitement a-t-il été assigné, et par qui ?
3Quelle est la variable dépendante, et comment a-t-elle été mesurée ?
4Combien de comparaisons ont été faites, et le seuil a-t-il été corrigé ?
5Quelle est la taille d'effet, et non seulement la valeur p ?
Phrase de conclusion
« L'étude établit une association sur un échantillon de volontaires, sans assignation aléatoire ni correction pour les comparaisons multiples : elle autorise une hypothèse, pas une conclusion causale. »
Le piège : Critiquer la taille de l'échantillon en premier : c'est presque toujours le défaut le moins grave, et le correcteur attend le devis.
Barème : 1 point par question traitée, avec la justification tirée du texte fourni.
Vérifier avant de rendre
Cinq minutes de vérification récupèrent plus de points qu'un exercice de plus commencé à la hâte.
Le groupe témoin a-t-il bougé lui aussi ?
Avant d'attribuer un gain au programme, chercher dans l'énoncé le chiffre du groupe témoin. S'il n'y en a pas, le signaler.
Un gain de 12 points qui devient 4 une fois le témoin pris en compte : deux tiers de l'effet annoncé n'existaient pas.
La sélection portait-elle sur une valeur extrême ?
Relire la phrase qui dit comment les participants ont été choisis. « Les plus faibles », « ceux en difficulté », « les pires résultats » sont des signaux de régression vers la moyenne.
Sélectionner à z=−1,7 avec r=0,6 garantit une remontée d'environ 0,7 écart-type sans rien faire.
Combien de tests ont été faits ?
Compter les comparaisons rapportées, puis calculer 1−0,95k. Au-delà de trois ou quatre, exiger une correction.
Cinq sous-groupes testés donnent déjà 22,6 % de risque d'au moins un faux positif.
La taille d'effet accompagne-t-elle la valeur p ?
Une conclusion qui ne cite que p est incomplète : chercher le d, l'écart en unités réelles, ou la proportion de variance expliquée.
Un d de 0,40 sur un examen de 100 points correspond à quatre points : significatif ne veut pas dire spectaculaire.
L'exercice type décortiqué
Évaluer un tutorat par les pairs, du gain brut à l'effet réel
Quarante étudiants ayant échoué au premier examen, de moyenne 48, suivent un tutorat par les pairs. À l'examen suivant, leur moyenne est de 60.
Un groupe témoin de quarante étudiants, également sélectionnés sur leur échec, de moyenne 47, n'a rien reçu; sa moyenne passe à 55.
La moyenne de la cohorte est de 65, l'écart-type de 10, et la corrélation entre les deux examens vaut 0,6.
Les données de l'énoncé : le groupe tutoré passe de 48 à 60, le groupe témoin de 47 à 55.
Étape 1
H0 : le tutorat ne change pas la note moyenne. H1 : il l'augmente. Devis QUASI EXPÉRIMENTAL : les participants sont volontaires, l'assignation n'est pas tirée au sort.
Pourquoi
Nommer le devis en premier fixe d'emblée ce que la conclusion aura le droit de dire, et vaut un point à lui seul.
Étape 2
Gain brut du groupe traité : 60−48=12 points. Gain du groupe témoin : 55−47=8 points.
Pourquoi
Le second chiffre est celui que le communiqué de presse ne cite jamais, et c'est le seul qui donne un point de comparaison.
Étape 3
Régression vers la moyenne : z1=1048−65=−1,70, donc z2=0,6×(−1,70)=−1,02, soit une note attendue de 65−10,2=54,8.
Pourquoi
Sans aucune intervention, on prédit 54,8 : c'est presque exactement la moyenne observée du groupe témoin (55). Le phénomène est chiffré, pas invoqué.
Étape 4
Différence de différences : 12−8=4 points.
Pourquoi
C'est ce que le tutorat a ajouté à ce qui serait arrivé de toute façon. L'effet annoncé passe de 12 à 4, soit le tiers.
Étape 5
Taille d'effet : d=104=0,40. Effectif requis pour une puissance de 80 % : n≈0,4022(1,96+0,84)2=98 par groupe.
Pourquoi
Avec quarante participants par groupe, l'étude est sous-puissante : elle a moins d'une chance sur deux de détecter l'effet qu'elle cherche, même s'il existe.
Étape 6
Contrôle : si l'on avait aussi testé cinq sous-groupes, le risque d'au moins un faux positif serait 1−0,955≈22,6 %.
Pourquoi
Ce chiffre décide si un résultat de sous-groupe mérite d'être rapporté. Sans correction, il s'agit d'une exploration, pas d'un test.
Conclusion rédigée
« Le tutorat est associé à un gain de 4 points au-delà de la progression spontanée du groupe témoin, soit une taille d'effet de 0,40. Le devis étant quasi expérimental et l'étude sous-puissante avec quarante participants par groupe, ce résultat justifie une expérience à assignation aléatoire, pas une conclusion causale. »
L'erreur classique sur cet exercice : Annoncer un gain de 12 points : le groupe témoin en a gagné 8 sans rien recevoir, et la régression vers la moyenne à elle seule prédisait 54,8.
À savoir par cœur
•On teste H0 et on cherche à la REJETER. On ne démontre jamais directement l'hypothèse du chercheur.
•ÉCHANTILLONNAGE aléatoire, validité EXTERNE. ASSIGNATION aléatoire, validité INTERNE. Les deux tirages n'ont pas le même rôle.
•Causalité : ASSOCIATION, ANTÉRIORITÉ, NON-FALLACE. Un devis transversal n'établit que la première.
•Sélection sur une valeur extrême : la prédiction sans intervention est z2=rz1, et le retour vers le centre est automatique.
•Effet propre d'un programme = gain du traité MOINS gain du témoin.
•Sur k tests au seuil de 5 %, le risque d'au moins un faux positif vaut 1−0,95k, et dépasse 50 % dès 14 tests.
•INTENTION DE TRAITER : chacun reste dans le groupe où il a été assigné, même s'il a abandonné.
Questions fréquentes
Qu'est-ce que la régression vers la moyenne ?
C'est le retour vers le centre observé quand on sélectionne un groupe sur une valeur extrême, puis qu'on le remesure. Une partie du résultat extrême venait de la malchance, qui ne se répète pas. La prédiction sans aucune intervention est la cote Z de départ multipliée par la corrélation entre les deux mesures. C'est un fait statistique, pas un effet de programme.
Quelle différence entre validité interne et validité externe ?
La validité interne est le droit d'attribuer l'effet observé au traitement plutôt qu'à autre chose : elle est protégée par l'assignation aléatoire. La validité externe est le droit de généraliser à une population plus large : elle est protégée par l'échantillonnage aléatoire. Une expérience de laboratoire excelle dans la première et échoue souvent dans la seconde.
Comment calculer l'effet réel d'un programme ?
Par la différence de différences : on calcule le gain du groupe qui a reçu le programme, le gain du groupe témoin sur la même période, puis on soustrait le second du premier. Le résultat est ce que le programme a ajouté à ce qui serait arrivé de toute façon. Sans groupe témoin, le gain brut mélange l'effet du programme et tout le reste.
Pourquoi corriger le seuil quand on fait plusieurs tests ?
Parce que le seuil de cinq pour cent est un risque par test. Sur vingt tests indépendants, on attend un résultat significatif par pur hasard, et le risque d'en obtenir au moins un dépasse cinquante pour cent dès quatorze tests. La correction de Bonferroni divise le seuil par le nombre de tests, ce qui rétablit le risque global au prix de la puissance.
Une valeur p très petite veut-elle dire un effet important ?
Non. La valeur p mesure à quel point le résultat serait improbable si le traitement ne changeait rien, et elle diminue mécaniquement quand l'échantillon grandit. L'importance se lit sur la taille d'effet, qui ne dépend pas de l'effectif. Avec dix mille participants, un écart sans aucune portée pratique devient hautement significatif.
Passer à la pratique
Exercices corrigés : Devis de recherche et lecture critique
Une méthode se prouve sur une copie, pas sur une fiche. La série du même chapitre reprend chacun de ces pièges dans un exercice, avec le corrigé rédigé étape par étape.
Il manque quelque chose dans cette fiche ?Une méthode, un piège, un exercice pour l'appliquer, une erreur repérée : dis-le-moi, je lis chaque demande.
L'envoi passe par ton espace gratuit : c'est ce qui me permet de te répondre et de te prévenir quand l'exercice est ajouté. Un courriel suffit, pas de mot de passe. Crée ton espace.
Pas envie de créer un compte ? Écris-moi directement.
Vous cherchez un tuteur en méthodes quantitatives à Montréal ?
Contactez-moi pour une première séance. Les méthodes quantitatives sont le seul cours de mathématiques obligatoire en sciences humaines, et c'est aussi celui qui décide le plus souvent de la cote R d'une session.
