Méthodes quantitatives avancées 360-301 • Sciences humaines au cégep à Montréal

Fiche de révision : comparer deux groupes, test t et taille d'effet

Cette fiche traite le test le plus employé du cours de méthodes quantitatives avancées, et celui dont les conclusions sont le plus souvent surinterprétées. Elle ne redonne pas les formules, elle donne les huit endroits où un calcul juste débouche sur une phrase fausse, et la phrase exacte qui répare chacun.

Elle s'adresse aux étudiants de Sciences humaines du cégep qui suivent le cours 360-301, méthodes quantitatives avancées. La série d'exercices corrigés du même chapitre reprend chaque geste, du choix du test jusqu'à la lecture d'une section de résultats publiée.

Le fil du chapitre

Un test t répond à une seule question : cet écart serait-il crédible s'il n'y avait aucun effet ? Il ne dit ni combien l'écart est grand ni s'il compte, et c'est la taille d'effet qui répond à cela, sans dépendre de l'effectif.

Ce chapitre fait partie de Méthodes quantitatives avancées 360-301 : tous les chapitres

Avant ce chapitre

Cette fiche suppose ces notions acquises. Si une méthode ci-dessous reste opaque, c'est presque toujours l'une d'elles qui manque, pas la fiche.

Remonter plus loin : la chaîne complète (5 chapitres) ↓

Le chemin de remédiation, du plus ancien au plus proche. Un élève qui reprend ce chapitre de zéro le reprend dans cet ordre.

  1. 1Concepts, variables et échelles de mesureMéthodes quantitatives (360-300)
  2. 2Échantillonnage et questionnaireMéthodes quantitatives (360-300)
  3. 3Tableaux de distribution et graphiquesMéthodes quantitatives (360-300)
  4. 4Cote Z, rang centile et cote RMéthodes quantitatives (360-300)
  5. 5La marge d'erreur d'un sondageMéthodes quantitatives (360-300)

L'essentiel

Les quatre issues d'un test, et les deux risques

  • Erreur de PREMIÈRE espèce α\alpha : rejeter H0H_{0} alors qu'elle est vraie. C'est le seuil, fixé d'avance, presque toujours 0,050{,}05.
  • Erreur de DEUXIÈME espèce β\beta : ne pas détecter un effet qui existe. La PUISSANCE vaut 1β1-\beta, et on la vise à 0,800{,}80.
  • La valeur pp est la probabilité d'observer un écart au moins aussi grand SI H0H_{0} est vraie. Ce n'est jamais la probabilité que H0H_{0} soit vraie.
  • Un intervalle de confiance à 95 % de la différence contient zéro SI ET SEULEMENT SI le test bilatéral à 5 % ne rejette pas.
H0 vraieH0 fausseon rejetteerreur de type Ipuissanceon ne rejette pasdécision correcteerreur de type II
La colonne de droite est celle où un effet existe : l'erreur de type II y est le fait de le manquer, et la puissance le fait de le trouver.

Les deux risques se déplacent en sens inverse : baisser α\alpha à 0,010{,}01 protège des faux positifs et fait manquer davantage d'effets réels.

Trois tests t, trois dénominateurs

  • INDÉPENDANTS, variances comparables : sp2=(n11)s12+(n21)s22n1+n22s_{p}^{2}=\dfrac{\left(n_{1}-1\right)s_{1}^{2}+\left(n_{2}-1\right)s_{2}^{2}}{n_{1}+n_{2}-2}, puis ET=sp1n1+1n2ET=s_{p}\sqrt{\dfrac{1}{n_{1}}+\dfrac{1}{n_{2}}}, ddl=n1+n22ddl=n_{1}+n_{2}-2.
  • INDÉPENDANTS, variances très inégales, correction de WELCH : ET=s12n1+s22n2ET=\sqrt{\dfrac{s_{1}^{2}}{n_{1}}+\dfrac{s_{2}^{2}}{n_{2}}}, avec des degrés de liberté réduits. C'est le choix par défaut aujourd'hui.
  • APPARIÉS : on travaille sur les nn DIFFÉRENCES individuelles, t=dsd/nt=\dfrac{\overline{d}}{s_{d}/\sqrt{n}}, ddl=n1ddl=n-1.
  • Quand les deux effectifs sont égaux, la formule combinée et celle de Welch donnent exactement la même erreur type.

L'appariement élimine la variabilité entre individus et coûte des degrés de liberté : il gagne dès que les deux mesures sont corrélées, ce qui est presque toujours le cas d'un avant-après.

Ce que le test ne dit pas, et qui le dit

  • dd de Cohen =x1x2sp=\dfrac{\overline{x}_{1}-\overline{x}_{2}}{s_{p}} : 0,20{,}2 petit, 0,50{,}5 moyen, 0,80{,}8 grand. Il ne dépend PAS de l'effectif.
  • L'INTERVALLE de confiance de la différence donne la fourchette dans l'unité de départ : c'est ce qui intéresse le lecteur, bien plus que pp.
  • Effectif pour une puissance de 80 % : n2(1,96+0,84)2d2n\approx \dfrac{2\left(1{,}96+0{,}84\right)^{2}}{d^{2}} par groupe, soit environ 15,7d2\dfrac{15{,}7}{d^{2}}.
  • Diviser dd par deux QUADRUPLE l'effectif requis : c'est pourquoi les petits effets demandent de très grandes études.

Une conclusion complète cite trois choses : la décision du test, la taille d'effet, et l'intervalle de confiance dans l'unité de l'énoncé.

Les pièges qui coûtent des points

Les erreurs ci-dessous sont celles que je corrige le plus souvent en séance. Chacune coûte des points sur une copie, même quand le raisonnement est juste.

1. Lire la valeur p comme la probabilité que l'hypothèse nulle soit vraie

1,5 point, retiré à chaque conclusion mal formulée

Ce qu'il ne faut pas écrire

« p=0,03p=0{,}03 : il n'y a que 33 % de chances qu'il n'y ait aucune différence. »

Ce qu'il faut écrire

« p=0,03p=0{,}03 : SI les deux groupes étaient identiques, on observerait un écart au moins aussi grand dans 33 % des échantillons. »

Pourquoi : La valeur pp est une probabilité calculée SOUS H0H_{0}, donc en supposant H0H_{0} vraie. Elle ne peut pas, dans la même phrase, mesurer la probabilité de cette supposition.

2. Traiter des mesures appariées comme deux groupes indépendants

2 points, et le test perd presque toute sa puissance

Ce qu'il ne faut pas écrire

« J'ai les notes avant et après pour les mêmes 2525 étudiants : je compare les deux moyennes avec un test t indépendant, ddl=48ddl=48. »

Ce qu'il faut écrire

« Ce sont les MÊMES personnes : je travaille sur les 2525 différences individuelles, t=dsd/25t=\dfrac{\overline{d}}{s_{d}/\sqrt{25}} avec ddl=24ddl=24. »

Pourquoi : Le test indépendant met la variabilité entre individus au dénominateur, alors que l'appariement l'élimine. Sur des mesures corrélées, il faut souvent trois fois plus de monde pour détecter le même effet.

3. Combiner les variances alors qu'elles sont très différentes

1,5 point, et un risque de première espèce faussé

Ce qu'il ne faut pas écrire

« s1=4s_{1}=4 et s2=16s_{2}=16 : je calcule quand même la variance combinée. »

Ce qu'il faut écrire

« Le rapport des variances vaut 1616, bien au-delà de ce que l'hypothèse d'homogénéité tolère : j'applique la correction de WELCH, qui n'exige pas cette hypothèse. »

Pourquoi : La variance combinée est une moyenne pondérée : elle prête au petit groupe la dispersion du grand. Quand les effectifs sont aussi inégaux que les variances, le seuil réel n'est plus 55 %.

4. Conclure à l'absence de différence quand on ne rejette pas

2 points, et la conclusion est retournée

Ce qu'il ne faut pas écrire

« p=0,31p=0{,}31 : les deux méthodes d'enseignement donnent les mêmes résultats. »

Ce qu'il faut écrire

« On ne rejette pas H0H_{0} : les données ne montrent pas de différence. Avec n=12n=12 par groupe, l'étude n'avait la puissance de détecter qu'un effet très grand. »

Pourquoi : Ne pas trouver et montrer qu'il n'y a rien sont deux choses différentes. Démontrer une équivalence demande un devis d'équivalence et une borne fixée d'avance.

5. Prendre une petite valeur p pour un effet important

2 points, et c'est la faute la plus fréquente du cours

Ce qu'il ne faut pas écrire

« p<0,001p<0{,}001 : l'atelier a un effet considérable sur les résultats. »

Ce qu'il faut écrire

« L'effet est très peu compatible avec le hasard. Son ampleur se lit sur d=0,20d=0{,}20, soit un petit effet, obtenu ici grâce à mille participants par groupe. »

d de Cohenn par groupetp0,2010004,47moins de 0,0010,50642,830,0050,80101,790,09le plus petit effet a la plus petite valeur p
Les trois lignes sont classées par taille d'effet croissante et par valeur p croissante : c'est l'effectif, et lui seul, qui produit ce classement inversé.

Pourquoi : tt vaut environ dn2d\sqrt{\dfrac{n}{2}} : la valeur pp dépend donc autant de l'effectif que de l'effet. Le dd, lui, n'en dépend pas.

6. Se tromper de degrés de liberté

1 point, et parfois une décision inversée près du seuil

Ce qu'il ne faut pas écrire

« Deux groupes de 3030 : ddl=301=29ddl=30-1=29. »

Ce qu'il faut écrire

« Test indépendant : ddl=n1+n22=58ddl=n_{1}+n_{2}-2=58. Le n1n-1 est celui du test APPARIÉ, où il n'y a qu'une seule série de différences. »

Pourquoi : Chaque moyenne estimée coûte un degré de liberté : deux moyennes en coûtent deux. L'erreur se voit tout de suite si l'on se demande combien de moyennes le calcul a exigées.

7. Choisir le test unilatéral après avoir vu les données

1,5 point de méthode, et le seuil réel n'est plus celui annoncé

Ce qu'il ne faut pas écrire

« La différence va dans le sens attendu, donc je divise ma valeur pp par deux. »

Ce qu'il faut écrire

« Le caractère unilatéral se décide AVANT de regarder les données, et seulement si un écart en sens contraire serait sans intérêt. Sinon, on reste bilatéral. »

Pourquoi : Choisir le côté après coup revient à s'accorder deux chances de rejeter au seuil de 55 %, donc un risque réel de 1010 %. C'est la même logique que les comparaisons multiples.

8. Croire qu'on peut compenser un petit effet par un peu plus de monde

1 point, et une étude conçue sans puissance

Ce qu'il ne faut pas écrire

« L'effet attendu est deux fois plus petit que prévu : je double l'échantillon. »

Ce qu'il faut écrire

« n15,7d2n\approx\dfrac{15{,}7}{d^{2}} : diviser dd par deux QUADRUPLE l'effectif requis. Passer de d=0,8d=0{,}8 à d=0,4d=0{,}4 fait passer de 2525 à 9898 sujets par groupe. »

sujets requis par groupediviser d par 2 quadruple nd = 0,4 : 98 sujetsd = 0,8 : 25 sujets0,20,40,60,81,01,2100200300400taille d'effet d
La courbe explose à gauche : au-dessous de d=0,3d=0{,}3, l'effectif requis dépasse déjà cent-soixante-quinze sujets par groupe.

Pourquoi : L'effectif entre par sa racine carrée dans la statistique de test : il faut donc quadrupler l'effectif pour doubler la sensibilité. C'est la même loi que la marge d'erreur d'un sondage.

Quelle méthode choisir

Quel test choisir ?

Quatre questions, dans cet ordre : combien de groupes, les mêmes individus ou non, quelle est la nature de la variable dépendante, les variances se ressemblent-elles.

  • Si deux groupes différents, variable quantitative, variances comparables test t pour échantillons INDÉPENDANTS, variance combinée, ddl=n1+n22ddl=n_{1}+n_{2}-2

    Exemple : atelier contre témoin, 30 étudiants chacun

  • Si deux groupes différents mais variances très inégales, ou effectifs très déséquilibrés test t avec correction de WELCH, degrés de liberté réduits

    Exemple : un groupe de 12 très homogène contre un groupe de 80

  • Si les mêmes individus mesurés deux fois, ou des paires constituées test t APPARIÉ sur les différences individuelles, ddl=n1ddl=n-1

    Exemple : notes avant et après le même atelier

  • Si plus de deux groupes analyse de VARIANCE, jamais une série de tests t deux à deux

    Exemple : trois méthodes d'enseignement

  • Si la variable dépendante est qualitative, ou les effectifs sont très petits et la distribution très asymétrique khi-deux, ou test de rangs de Mann-Whitney

    Exemple : une échelle de Likert sur deux groupes de huit

Aujourd'hui, la correction de Welch est le choix par défaut sur deux groupes indépendants : elle ne coûte presque rien quand les variances se ressemblent, et elle sauve le test quand ce n'est pas le cas.

Que dire une fois le calcul fait ?

On regarde la décision, puis ce que l'énoncé demande de plus.

  • Si on rejette et l'énoncé demande l'ampleur donner le dd de Cohen et le situer sur les repères 0,20{,}2, 0,50{,}5, 0,80{,}8

    Exemple : d=0,60d=0{,}60, effet moyen

  • Si on rejette et l'énoncé demande une portée pratique donner l'INTERVALLE de confiance de la différence, dans l'unité de l'énoncé

    Exemple : entre 0,80{,}8 et 11,211{,}2 points

  • Si on ne rejette pas parler de manque de preuve, et calculer l'effectif qui aurait donné une puissance de 80 %

    Exemple : il aurait fallu 44 sujets par groupe

  • Si l'énoncé demande si le résultat est important répondre par la taille d'effet et le contexte, jamais par la valeur pp

    Exemple : six points sur cent, sur un examen final

Une conclusion complète tient en une phrase : décision, taille d'effet, intervalle. Les trois sont au barème.

La rédaction attendue

Le correcteur coche des étapes. Les voici dans l'ordre, avec la phrase de conclusion qu'il attend mot pour mot.

Rédiger un test t complet

Quand l'utiliser : Dès que l'énoncé compare les moyennes de deux groupes.

  1. 1 Nommer le test choisi et JUSTIFIER : indépendants ou appariés, combinée ou Welch.
  2. 2 Écrire H0H_{0} et H1H_{1} en mots, et préciser bilatéral ou unilatéral, décidé d'avance.
  3. 3 Calculer l'erreur type, puis tt, puis les degrés de liberté.
  4. 4 Comparer à la valeur critique lue dans la table, et décider.
  5. 5 Conclure dans le contexte, en donnant AUSSI la taille d'effet et l'intervalle de confiance de la différence.

Phrase de conclusion

« Au seuil de 5 %, t=2,31t=2{,}31 avec 5858 degrés de liberté dépasse la valeur critique 2,002{,}00 : on rejette l'hypothèse d'égalité des moyennes. Les étudiants de l'atelier obtiennent en moyenne 66 points de plus, soit un dd de 0,600{,}60, et l'intervalle de confiance à 95 % de cet écart va de 0,80{,}8 à 11,211{,}2 points. »

Le piège : Écrire « la différence est significative » sans dire de combien : la moitié des points de la conclusion est dans le dd et l'intervalle.

Barème : 1 point pour le test justifié, 1 point pour les hypothèses, 2 points pour le calcul, 1 point pour la décision, 2 points pour la taille d'effet et l'intervalle.

Traiter un jeu de données appariées

Quand l'utiliser : Quand les deux séries portent sur les mêmes individus, ou sur des paires appariées par le chercheur.

  1. 1 Construire la colonne des différences individuelles did_{i}, en fixant le sens une fois pour toutes.
  2. 2 Calculer d\overline{d} et sds_{d} sur cette colonne, jamais sur les deux séries séparément.
  3. 3 Appliquer t=dsd/nt=\dfrac{\overline{d}}{s_{d}/\sqrt{n}} avec ddl=n1ddl=n-1.
  4. 4 Donner la taille d'effet sur les différences, dsd\dfrac{\overline{d}}{s_{d}}, et l'intervalle de confiance de d\overline{d}.

Phrase de conclusion

« Sur les 2525 étudiants, la progression moyenne est de d\overline{d} points, avec tt à 2424 degrés de liberté : l'appariement élimine la variabilité entre individus et donne au test toute sa puissance. »

Le piège : Changer de sens de soustraction en cours de tableau : le signe de d\overline{d} devient ininterprétable et le tt aussi.

Barème : 1 point pour la colonne des différences, 2 points pour le calcul, 1 point pour les degrés de liberté.

Vérifier avant de rendre

Cinq minutes de vérification récupèrent plus de points qu'un exercice de plus commencé à la hâte.

L'exercice type décortiqué

Évaluer un atelier de méthodes de travail, du test à la puissance

Trente étudiants suivent un atelier de méthodes de travail : moyenne 7272, écart-type 99.

Trente autres, comparables, ne le suivent pas : moyenne 6666, écart-type 1111.

On demande si l'atelier fait une différence, de combien, et si l'étude avait la puissance nécessaire.

Étape 1

Deux groupes différents, variable quantitative, variances voisines : test t pour échantillons INDÉPENDANTS, bilatéral au seuil de 5 %.

Pourquoi

Le choix se justifie AVANT le calcul et vaut son point. Les effectifs étant égaux, la formule combinée et celle de Welch donneront de toute façon la même erreur type.

Étape 2

sp2=29(81)+29(121)58=101s_{p}^{2}=\dfrac{29(81)+29(121)}{58}=101, donc sp=10,05s_{p}=10{,}05 et ET=10,05130+130=2,59ET=10{,}05\sqrt{\dfrac{1}{30}+\dfrac{1}{30}}=2{,}59.

Pourquoi

La variance combinée est une moyenne pondérée des variances par leurs degrés de liberté : elle vaut ici exactement la moyenne des deux, puisque les effectifs sont égaux.

Étape 3

t=72662,59=2,31t=\dfrac{72-66}{2{,}59}=2{,}31 avec ddl=30+302=58ddl=30+30-2=58. Valeur critique bilatérale à 5 % : 2,002{,}00. On rejette H0H_{0}.

Pourquoi

Écrire la valeur critique lue, et pas seulement la décision : c'est ce qui montre qu'on a su entrer dans la table avec les bons degrés de liberté.

Étape 4

d=726610,05=0,60d=\dfrac{72-66}{10{,}05}=0{,}60, soit un effet MOYEN selon les repères de Cohen.

Pourquoi

Le dd se calcule sur l'écart-type combiné, pas sur l'erreur type : diviser par 2,592{,}59 donnerait 2,312{,}31, c'est-à-dire le tt, et non une taille d'effet.

Étape 5

Intervalle de confiance à 95 % de la différence : 6±2,00×2,596\pm 2{,}00\times 2{,}59, soit de 0,810{,}81 à 11,1911{,}19 points.

Pourquoi

L'intervalle ne contient pas zéro, ce qui confirme le rejet. Il dit aussi que l'effet réel pourrait n'être que d'un point : c'est l'information la plus honnête du problème.

Étape 6

Puissance : pour d=0,60d=0{,}60, il faudrait n2(2,80)20,60244n\approx\dfrac{2(2{,}80)^{2}}{0{,}60^{2}}\approx 44 sujets par groupe.

Pourquoi

Avec trente par groupe, l'étude était légèrement sous-puissante : elle a détecté l'effet, mais elle avait moins de quatre chances sur cinq d'y parvenir.

Conclusion rédigée

« Au seuil de 5 %, t=2,31t=2{,}31 pour 5858 degrés de liberté dépasse la valeur critique 2,002{,}00 : les étudiants de l'atelier obtiennent une moyenne significativement plus élevée. L'écart est de 66 points, soit d=0,60d=0{,}60, un effet moyen, et l'intervalle de confiance à 95 % va de 0,80{,}8 à 11,211{,}2 points. »

L'erreur classique sur cet exercice : Diviser l'écart de 66 points par l'erreur type 2,592{,}59 pour obtenir la taille d'effet : on retrouve le tt, et l'ampleur annoncée est quatre fois trop grande.

À savoir par cœur

  • La valeur pp est calculée SOUS H0H_{0} : ce n'est jamais la probabilité que H0H_{0} soit vraie.
  • INDÉPENDANTS : ddl=n1+n22ddl=n_{1}+n_{2}-2. APPARIÉS : ddl=n1ddl=n-1, où nn est le nombre de PAIRES.
  • Welch quand les variances ou les effectifs sont très inégaux; avec des effectifs égaux, les deux formules coïncident.
  • d=x1x2spd=\dfrac{\overline{x}_{1}-\overline{x}_{2}}{s_{p}} : 0,20{,}2 petit, 0,50{,}5 moyen, 0,80{,}8 grand, et il ne dépend pas de nn.
  • L'intervalle de confiance à 95 % contient zéro si et seulement si le test bilatéral à 5 % ne rejette pas.
  • n15,7d2n\approx\dfrac{15{,}7}{d^{2}} par groupe pour une puissance de 80 % : diviser dd par deux QUADRUPLE l'effectif.
  • Ne pas rejeter n'est pas démontrer l'égalité : c'est souvent un manque de puissance.

Questions fréquentes

Quand faut-il utiliser un test t apparié plutôt qu'indépendant ?

Dès que les deux séries portent sur les mêmes individus, ou sur des paires constituées par le chercheur. On travaille alors sur les différences individuelles, avec un nombre de degrés de liberté égal au nombre de paires moins un. L'appariement retire la variabilité entre personnes, ce qui rend le test beaucoup plus sensible sur des mesures avant et après.

Que veut vraiment dire une valeur p de 0,03 ?

Que si les deux groupes étaient réellement identiques, on observerait un écart au moins aussi grand dans trois pour cent des échantillons possibles. Ce n'est pas la probabilité que l'hypothèse nulle soit vraie, ni la probabilité de se tromper en la rejetant : la valeur p se calcule en supposant l'hypothèse nulle vraie.

Comment calculer le d de Cohen ?

On divise la différence des deux moyennes par l'écart-type combiné des deux groupes, jamais par l'erreur type. Une différence de six points avec un écart-type combiné de dix donne un d de 0,60. Les repères habituels sont 0,2 pour un petit effet, 0,5 pour un effet moyen et 0,8 pour un grand.

Combien de sujets faut-il pour détecter un effet ?

Environ quinze virgule sept divisé par le carré de la taille d'effet attendue, par groupe, pour une puissance de quatre-vingt pour cent au seuil de cinq pour cent. Un effet moyen de 0,5 demande donc une soixantaine de sujets par groupe, et un petit effet de 0,2 en demande près de quatre cents.

Que faire quand les deux groupes n'ont pas la même variance ?

On utilise la correction de Welch, qui additionne les deux variances divisées par leurs effectifs respectifs au lieu de les combiner, et qui réduit les degrés de liberté. C'est aujourd'hui le choix par défaut : quand les variances se ressemblent, elle donne presque le même résultat que la formule classique, et elle protège dans le cas contraire.

Passer à la pratique

Exercices corrigés : Comparer deux groupes : test t et taille d'effet

Une méthode se prouve sur une copie, pas sur une fiche. La série du même chapitre reprend chacun de ces pièges dans un exercice, avec le corrigé rédigé étape par étape.

  • 10 exercices corrigés
  • 100 points
  • 150 minutes
Faire les exercices
Fiche suivante L'analyse de variance à un facteur

Ce chapitre resservira dans

Les chapitres qui le réclament en amont, plus tard dans l'année ou dans les années suivantes.

Voir aussi

Vous cherchez un tuteur en méthodes quantitatives avancées à Montréal ?

Contactez-moi pour une première séance. Le 360-301 arrive au moment de la recherche de fin de programme, et c'est le cours où une erreur de méthode coûte tout le chapitre d'analyse.

Site par Studio Squalli