Exercices corrigés : comparer deux groupes (360-301)

a) Hypothèse NULLE : $\mu_{1}=\mu_{2}$, les deux groupes proviennent de populations de même moyenne, et l'écart observé n'est dû qu'au hasard de l'échantillonnage. Hypothèse ALTERNATIVE bilatérale : $\mu_{1}\neq \mu_{2}$. On choisit le bilatéral parce que rien n'était annoncé d'avance sur le SENS de l'effet; adopter l'unilatéral après avoir vu que le groupe traité est devant reviendrait à doubler discrètement le seuil.

b) $s_{p}^{2}=\dfrac{24\times 8{,}2^{2}+27\times 9{,}6^{2}}{51}=\dfrac{24\times 67{,}24+27\times 92{,}16}{51}=\dfrac{1\,613{,}76+2\,488{,}32}{51}=\dfrac{4\,102{,}08}{51}\approx 80{,}433$, donc $s_{p}\approx 8{,}968$. Erreur type de la différence : $s_{p}\sqrt{\dfrac{1}{25}+\dfrac{1}{28}}=8{,}968\sqrt{0{,}04+0{,}035714}=8{,}968\times 0{,}275162\approx 2{,}468$. La variance combinée est une moyenne PONDÉRÉE par les degrés de liberté : le groupe le plus nombreux pèse davantage, ce qui est logique puisqu'il estime mieux la variance commune.

c) $t=\dfrac{72{,}4-67{,}9}{2{,}468}=\dfrac{4{,}5}{2{,}468}\approx 1{,}824$. Degrés de liberté : $n_{1}+n_{2}-2=25+28-2=51$. La statistique se lit comme un rapport : l'écart observé vaut 1,82 fois l'écart type de ce que le hasard produirait.

d) $\left|t\right|=1{,}824<2{,}008$ : on NE REJETTE PAS l'hypothèse nulle. Les données ne permettent donc pas de conclure à une différence de moyennes au seuil de 5 %. Il faut se garder d'écrire que les deux groupes sont égaux : la valeur p vaut ici environ 0,074, ce qui laisse l'hypothèse d'une différence tout à fait vivante, et un échantillon plus grand pourrait la faire apparaître.

e) Non, ce n'est pas contradictoire, et le graphique aide à comprendre le résultat. Le test ne porte PAS sur le recouvrement des distributions individuelles mais sur la précision des MOYENNES, qui est bien meilleure que celle des individus, puisqu'elle est divisée par la racine du nombre de sujets. Deux distributions peuvent se recouvrir presque entièrement et avoir des moyennes très significativement différentes si les effectifs sont grands. Réciproquement, comme ici, un chevauchement énorme signale que même si la différence était réelle, sa PORTÉE PRATIQUE serait limitée : un étudiant tiré du groupe traité a un peu plus de six chances sur dix de dépasser la médiane du groupe témoin.

a) $F=\dfrac{9{,}6^{2}}{8{,}2^{2}}=\dfrac{92{,}16}{67{,}24}\approx 1{,}371$. On met toujours la plus grande variance au numérateur, de sorte que $F\ge 1$ et qu'une seule table suffise.

b) $1{,}371<2{,}20$ : on ne rejette pas l'égalité des variances. L'hypothèse d'homogénéité est donc acceptable, et le test t classique est utilisable. Il faut noter que ce test F est lui-même peu puissant sur de petits échantillons et très sensible à la non-normalité : beaucoup de statisticiens recommandent aujourd'hui d'employer d'emblée la correction de Welch et de ne plus tester l'égalité des variances du tout.

c) Erreur type de Welch : $\sqrt{\dfrac{67{,}24}{25}+\dfrac{92{,}16}{28}}=\sqrt{2{,}6896+3{,}29143}=\sqrt{5{,}98103}\approx 2{,}44562$. Statistique : $t=\dfrac{4{,}5}{2{,}44562}\approx 1{,}84005$. La différence avec la version classique est minime, 1,840 contre 1,824, parce que les variances sont proches et les effectifs comparables.

d) Welch donne 50,9 degrés de liberté contre 51 pour la version classique : la perte est négligeable ici. La valeur critique reste voisine de 2,008, et la conclusion est identique, on ne rejette pas. La formule de Welch abaisse les degrés de liberté d'autant plus que les variances et les effectifs sont déséquilibrés; dans le pire des cas, elle les ramène à l'effectif du plus petit groupe moins un.

e) La correction change réellement la conclusion quand les deux déséquilibres se combinent : variances très différentes ET effectifs très différents. Le cas dangereux est celui où le PETIT groupe a la GRANDE variance : le test classique, en pondérant la variance combinée par les degrés de liberté, sous-estime alors l'erreur type et rejette trop souvent, avec un risque réel bien supérieur aux 5 % annoncés. Quand au contraire le grand groupe porte la grande variance, le test classique devient trop conservateur. Dans les deux cas, Welch corrige, et son coût quand l'hypothèse d'homogénéité est vraie se limite à quelques dixièmes de degré de liberté : c'est pourquoi il est devenu le choix par défaut.

a) Somme : $4-1+6+3+0+5+2+7+1+3=30$, donc $\overline{d}=\dfrac{30}{10}=3{,}0$. Écarts à la moyenne : $1$, $-4$, $3$, $0$, $-3$, $2$, $-1$, $4$, $-2$, $0$; leurs carrés : 1, 16, 9, 0, 9, 4, 1, 16, 4, 0, de somme 60. Variance d'échantillon : $\dfrac{60}{9}\approx 6{,}667$, donc $s_{d}\approx 2{,}582$.

b) Erreur type : $\dfrac{2{,}582}{\sqrt{10}}=\dfrac{2{,}582}{3{,}1623}\approx 0{,}8165$. Statistique : $t=\dfrac{3{,}0}{0{,}8165}\approx 3{,}674$, avec $n-1=9$ degrés de liberté. Il faut remarquer que l'échantillon est ici constitué des DIFFÉRENCES, dix nombres et non vingt : c'est ce qui explique les 9 degrés de liberté.

c) $3{,}674>2{,}262$ : on REJETTE l'hypothèse nulle. La progression moyenne de 3,0 points est significative au seuil de 5 %; la valeur p vaut environ 0,005, donc le résultat tient aussi au seuil de 1 %. La conclusion porte sur l'existence d'une progression, et non sur sa cause : sans groupe témoin, maturation, testage et régression vers la moyenne restent des explications concurrentes.

d) Erreur type de la différence de deux moyennes indépendantes : $9\sqrt{\dfrac{1}{10}+\dfrac{1}{10}}=9\times 0{,}4472\approx 4{,}025$. Statistique : $t=\dfrac{3{,}0}{4{,}025}\approx 0{,}745$, avec 18 degrés de liberté et une valeur critique de 2,101 : on ne rejetterait PAS. Le même écart de 3 points passe donc de très significatif à parfaitement anodin selon le traitement retenu.

e) Le gain vient de l'ÉLIMINATION de la variabilité entre individus. En travaillant sur les différences, tout ce qui est propre à chaque étudiant, son niveau de départ, sa motivation, sa méthode, disparaît par soustraction, et il ne reste que la variabilité du CHANGEMENT, ici beaucoup plus petite : l'écart-type passe de 9 à 2,58. Ce que l'appariement coûte est double. D'abord des degrés de liberté : 9 au lieu de 18, ce qui relève la valeur critique de 2,101 à 2,262. Ensuite une contrainte de devis : il faut mesurer deux fois les mêmes personnes, ce qui expose à l'effet de testage et à l'attrition. Le gain l'emporte largement dès que les deux mesures sont fortement corrélées, ce qui est presque toujours le cas d'un avant-après scolaire.

a) $d=\dfrac{72{,}4-67{,}9}{8{,}968}=\dfrac{4{,}5}{8{,}968}\approx 0{,}502$. La différence vaut donc environ un demi écart-type.

b) Repères usuels : 0,2 petit, 0,5 moyen, 0,8 grand. L'effet est donc MOYEN. En termes de recouvrement, un $d$ de 0,5 signifie qu'un étudiant tiré au hasard dans le groupe traité dépasse la médiane du groupe témoin dans environ 69 % des cas, contre 50 % s'il n'y avait aucun effet, et qu'il dépasse un étudiant tiré au hasard du témoin dans environ 64 % des cas. Ces formulations parlent bien plus qu'un nombre abstrait, et elles rappellent qu'un effet moyen laisse une immense zone de chevauchement.

c) $\left(\overline{x}_{1}-\overline{x}_{2}\right)\pm t_{crit}\times ET=4{,}5\pm 2{,}008\times 2{,}46776=4{,}5\pm 4{,}955$, soit $\left[-0{,}455\ ;\ 9{,}455\right]$ points.

d) Le lien est exact et non approximatif : un intervalle de confiance à 95 % de la différence contient zéro SI ET SEULEMENT SI le test bilatéral au seuil de 5 % ne rejette pas. Les deux procédures utilisent la même statistique et la même valeur critique; elles disent la même chose sous deux formes. Vérifier cette cohérence est un excellent contrôle d'erreur de calcul.

e) Parce que l'intervalle contient toute l'information de la valeur p et davantage. Ici, il dit que la vraie différence pourrait être une baisse d'un demi-point comme une hausse de neuf points et demi : autrement dit, l'étude n'exclut ni l'absence d'effet ni un effet considérable, et c'est un constat d'IMPRÉCISION plus que d'absence. Une valeur p de 0,074 se lit comme un échec, l'intervalle se lit comme une invitation à refaire l'étude en plus grand. C'est la raison pour laquelle les recommandations des associations professionnelles de statistique demandent depuis des années de publier les intervalles et les tailles d'effet, et de cesser de commenter le seul franchissement du seuil de 5 %.

a) $n=\dfrac{2\left(2{,}80\right)^{2}}{0{,}25}=\dfrac{2\times 7{,}84}{0{,}25}=\dfrac{15{,}68}{0{,}25}=62{,}72$, soit 63 sujets par groupe, donc 126 en tout.

b) Pour $d=0{,}2$ : $\dfrac{15{,}68}{0{,}04}=392$ sujets par groupe, soit 784 en tout. Pour $d=0{,}8$ : $\dfrac{15{,}68}{0{,}64}=24{,}5$, soit 25 par groupe. L'effectif varie comme $\dfrac{1}{d^{2}}$ : diviser par deux la taille d'effet à détecter QUADRUPLE l'échantillon nécessaire. C'est la raison pour laquelle les effets modestes, qui sont la règle en sciences humaines, exigent des études que peu d'équipes peuvent financer.

c) Avec environ 26 sujets par groupe, on résout $26=\dfrac{15{,}68}{d^{2}}$, donc $d^{2}=\dfrac{15{,}68}{26}\approx 0{,}6031$ et $d\approx 0{,}777$. L'étude n'avait donc 80 % de chances de détecter qu'un effet GRAND, proche de 0,8. Or l'effet réellement observé valait 0,50 : l'étude était sous-dimensionnée d'un facteur d'environ 2,4 pour ce qu'elle cherchait, et son résultat non concluant était largement prévisible AVANT la collecte.

d) L'erreur de DEUXIÈME espèce, notée $\beta$, consiste à ne pas rejeter $H_{0}$ alors qu'elle est fausse : rater un effet réel. La puissance vaut $1-\beta$. Avec une puissance de 80 %, on accepte donc une chance sur cinq de manquer un effet de la taille visée. Le parallèle avec l'erreur de première espèce mérite d'être posé : $\alpha$ est le risque de crier au loup, $\beta$ celui de ne pas le voir venir, et les deux ne se réduisent simultanément qu'en augmentant l'effectif.

e) Non. Avec 26 sujets par groupe, l'étude était incapable de détecter autre chose qu'un très gros effet : ne rien trouver était l'issue la plus probable même si un effet moyen existait. Une absence de rejet dans une étude sous-puissante n'apporte donc presque aucune information. Ce qu'il faut publier dans ce cas est l'INTERVALLE de confiance sur la différence, qui montrera que des effets appréciables restent compatibles avec les données, et la puissance a posteriori doit être évitée : elle n'est qu'une reformulation de la valeur p. La conclusion honnête est « nos données ne tranchent pas », et l'étude suivante doit être dimensionnée sur la taille d'effet observée.

a) Première question : les groupes sont-ils INDÉPENDANTS ou APPARIÉS, c'est-à-dire les mêmes unités mesurées deux fois ? Deuxième question : la variable dépendante est-elle QUANTITATIVE ou qualitative ? Troisième question : combien de groupes compare-t-on, DEUX ou plus de deux ? Quatrième question : la distribution permet-elle un test paramétrique, c'est-à-dire la variable est-elle approximativement normale, ou les effectifs assez grands pour que le théorème central limite s'applique ? L'ordre compte : la première question détermine la famille, les suivantes affinent.

b) Deux groupes indépendants, variable ORDINALE et effectifs de 12, trop faibles pour invoquer le théorème central limite : le test approprié est le test non paramétrique de MANN-WHITNEY, qui compare les rangs plutôt que les moyennes. Le test t serait défendable si l'on acceptait la convention qui traite un score de Likert comme une variable d'intervalle, mais avec 12 sujets par groupe et une variable à cinq niveaux, la prudence commande les rangs.

c) Deux groupes indépendants, variable quantitative, grands effectifs : le test t pour échantillons indépendants convient, avec la correction de Welch. La non-normalité du revenu, très étirée vers la droite, n'est pas un obstacle parce que le test porte sur les MOYENNES, et que la distribution d'échantillonnage d'une moyenne tend vers la normale quand $n$ grandit, quelle que soit la forme de la population : c'est le théorème central limite. Avec près de 400 observations par groupe, l'approximation est excellente. Une réserve subsiste : sur une distribution aussi asymétrique, la moyenne n'est pas forcément la quantité intéressante, et comparer les MÉDIANES par un test de Mann-Whitney répondrait mieux à la question posée.

d) Trente étudiants mesurés deux fois : test t pour échantillons APPARIÉS sur les différences individuelles. Avec un groupe témoin, la question change : on ne teste plus une progression mais un ÉCART de progressions, et l'on compare les différences individuelles du groupe traité aux différences individuelles du groupe témoin par un test t pour échantillons indépendants. C'est la version statistique de la différence de différences, et c'est le devis correct pour évaluer un atelier.

e) La variable dépendante est QUALITATIVE, réussi ou échoué, et l'on compare trois groupes indépendants : aucun test t ne s'applique. On construit un tableau croisé 3 par 2 et l'on emploie le test du KHI-DEUX d'indépendance, avec $ddl=\left(3-1\right)\left(2-1\right)=2$, puis un $V$ de Cramér pour l'intensité. Si un effectif théorique tombait sous 5, on regrouperait des programmes ou l'on passerait au test exact de Fisher.

a) Erreur type : $9\sqrt{\dfrac{2}{40}}=9\times 0{,}22361\approx 2{,}0125$. Statistique : $t=\dfrac{1{,}5}{2{,}0125}\approx 0{,}745$, très loin de la valeur critique voisine de 1,99 : on ne rejette pas.

b) Avec 400 par groupe : erreur type $9\sqrt{\dfrac{2}{400}}=9\times 0{,}070711\approx 0{,}6364$, donc $t=\dfrac{1{,}5}{0{,}6364}\approx 2{,}357$, supérieur à 1,96 : on rejette. Avec 1 000 par groupe : erreur type $9\times 0{,}044721\approx 0{,}40249$, donc $t\approx 3{,}727$, très largement au-delà du seuil.

c) $d=\dfrac{1{,}5}{9}\approx 0{,}167$ dans les TROIS cas. La taille d'effet ne dépend pas de l'effectif : elle décrit la séparation des deux distributions, pas la quantité de données recueillies. C'est exactement le rôle qu'on lui demande, et c'est pourquoi elle doit accompagner tout test.

d) On cherche $n$ tel que $\dfrac{1{,}5}{9\sqrt{2/n}}\ge 1{,}96$, donc $\sqrt{\dfrac{2}{n}}\le \dfrac{1{,}5}{9\times 1{,}96}=0{,}085034$, d'où $\dfrac{2}{n}\le 0{,}0072308$ et $n\ge 276{,}6$, soit 277 sujets par groupe. Au-delà, un écart de 1,5 point sur 100, qui n'intéresse personne, sera déclaré significatif à chaque fois.

e) « Le groupe traité obtient en moyenne 1,5 point de plus que le groupe témoin, sur une échelle de 100, différence statistiquement significative, $t\left(1998\right)=3{,}73$, p inférieur à 0,001, mais dont la taille d'effet est très faible, $d=0{,}17$. Cet écart correspond à environ un demi-point de plus qu'un cinquième d'écart-type, et il n'a pas de portée pratique identifiable pour un étudiant pris individuellement. » La phrase donne les trois éléments obligatoires, l'écart brut avec son unité, le test avec ses degrés de liberté, la taille d'effet, et elle refuse explicitement de transformer la significativité en importance.

1) FAUX. La valeur p est la probabilité d'observer un écart au moins aussi grand SI l'hypothèse nulle était vraie, et non la probabilité que l'hypothèse nulle soit vraie. Les deux quantités sont des probabilités conditionnelles inversées, comme la probabilité d'être mouillé sachant qu'il pleut et celle qu'il pleuve sachant qu'on est mouillé. Énoncé correct : si les deux groupes provenaient de populations identiques, on observerait un écart au moins aussi grand dans 7,4 % des répétitions de l'étude.

2) FAUX. Le test porte sur les MOYENNES, dont l'erreur type vaut $\dfrac{s}{\sqrt{n}}$ et diminue sans limite avec l'effectif, alors que le recouvrement des distributions individuelles n'en dépend pas. Avec 1 000 sujets par groupe, un $d$ de 0,17, donc un recouvrement énorme, donne $t\approx 3{,}7$ et une valeur p inférieure à 0,001. Énoncé correct : le fort recouvrement indique une taille d'effet faible, non l'impossibilité d'un résultat significatif.

3) FAUX. Les deux mesures portent sur les mêmes personnes : elles ne sont pas indépendantes, et traiter les vingt mesures comme deux échantillons distincts gonfle l'erreur type en y réinjectant toute la variabilité entre individus. Sur l'exemple du chapitre, le $t$ tombait de 3,67 à 0,75 pour les mêmes données. Énoncé correct : on calcule les 30 différences individuelles et l'on teste si leur moyenne est nulle, par un test t pour échantillons APPARIÉS à 29 degrés de liberté.

4) FAUX. Avec 26 sujets par groupe, l'étude n'avait 80 % de chances de détecter qu'un effet de taille 0,78, c'est-à-dire un gros effet. Ne rien trouver était l'issue attendue même en présence d'un effet moyen. Énoncé correct : nos données ne permettent pas de conclure; l'intervalle de confiance de la différence va de $-0{,}5$ à $+9{,}5$ points, ce qui laisse ouverte la possibilité d'un effet appréciable, et une étude d'environ 63 sujets par groupe serait nécessaire.

5) FAUX, la conclusion mélange les deux notions. Une valeur p minuscule indique seulement que l'écart est difficilement attribuable au hasard, ce qui, avec de grands échantillons, arrive pour n'importe quel écart. L'importance se juge sur le $d$ et sur l'unité de mesure, et un $d$ de 0,17 est faible. Énoncé correct : l'effet est très clairement établi et très petit; il est réel et sans portée pratique évidente, ce qui n'est nullement contradictoire.

a) C'est une EXPÉRIENCE À LISTE D'ATTENTE avec assignation aléatoire parmi les demandeurs. Elle assure la validité INTERNE : les deux groupes ne diffèrent en moyenne que par le traitement, y compris sur les variables non mesurées, et la différence observée peut donc être attribuée à l'atelier. La validité EXTERNE reste limitée aux étudiants qui DEMANDENT un tel atelier, population qui n'est pas celle du cégep.

b) Les effectifs étant égaux, $s_{p}^{2}=\dfrac{47\times 10{,}4^{2}+47\times 11{,}1^{2}}{94}=\dfrac{10{,}4^{2}+11{,}1^{2}}{2}=\dfrac{108{,}16+123{,}21}{2}=\dfrac{231{,}37}{2}=115{,}685$, donc $s_{p}\approx 10{,}7557$. Erreur type : $10{,}7557\sqrt{\dfrac{2}{48}}=10{,}7557\times 0{,}204124\approx 2{,}19549$. Statistique : $t=\dfrac{74{,}2-70{,}1}{2{,}19549}=\dfrac{4{,}1}{2{,}19549}\approx 1{,}8675$, avec $48+48-2=94$ degrés de liberté.

c) $1{,}868<1{,}986$ : on ne rejette pas au seuil de 5 %. La valeur p vaut environ 0,065, donc le résultat est proche du seuil sans l'atteindre. La rédaction correcte est que l'étude n'établit pas d'effet, et non que l'atelier n'en a pas.

d) $d=\dfrac{4{,}1}{10{,}7557}\approx 0{,}381$, un effet PETIT À MOYEN. Intervalle de confiance : $4{,}1\pm 1{,}986\times 2{,}19549=4{,}1\pm 4{,}3602$, soit $\left[-0{,}260\ ;\ 8{,}460\right]$ points. Il contient zéro, en cohérence exacte avec le test, et il montre surtout que la vraie différence pourrait atteindre huit points et demi : l'étude est imprécise plutôt que négative. Une réplication avec environ 110 étudiants par groupe, effectif requis pour détecter $d=0{,}38$ avec 80 % de puissance, trancherait la question.

e) Il faut les GARDER dans le groupe traité et présenter cette analyse comme la principale : c'est l'analyse en INTENTION DE TRAITER, et c'est elle qui préserve l'équivalence produite par le tirage au sort. Retirer les neuf absents reviendrait à comparer un sous-groupe sélectionné par son propre comportement, probablement les moins engagés, à un groupe témoin complet, ce qui gonflerait l'effet. On peut publier EN COMPLÉMENT une analyse restreinte aux 39 participants effectifs, en la nommant comme telle et en précisant qu'elle donne une borne supérieure optimiste. La question à laquelle répond l'intention de traiter est celle du décideur : que produit le fait d'OFFRIR l'atelier, sachant qu'une partie des inscrits ne viendra pas.

a) Avec $ddl=n_{1}+n_{2}-2=1\,198$, l'effectif total vaut 1 200, soit environ 600 par groupe si les groupes sont équilibrés. L'erreur type se déduit du $t$ : $ET=\dfrac{73{,}8-70{,}2}{4{,}12}=\dfrac{3{,}6}{4{,}12}\approx 0{,}874$. On peut vérifier la cohérence : avec $s=15$ et 600 par groupe, $ET=15\sqrt{\dfrac{2}{600}}\approx 0{,}866$, ce qui concorde. Ce recalcul est un bon réflexe de lecture : il attrape les incohérences et permet de reconstituer ce que l'article n'a pas publié.

b) $d=\dfrac{3{,}6}{15}=0{,}24$, un PETIT effet. Autrement dit, les distributions se recouvrent à plus de 90 %, et connaître le genre d'un étudiant n'améliore que marginalement la prédiction de sa note. La valeur p inférieure à 0,001 vient presque entièrement des 1 200 sujets, non de l'ampleur de l'écart.

c) Premier reproche, le mot DÉMONTRÉ appliqué à un effet de 0,24 : l'étude établit une différence de moyennes, faible, et n'a rien démontré de plus. Second reproche, le mot EFFET, qui affirme une causalité : le genre n'a pas été assigné au hasard, et l'écart peut refléter des différences de programme choisi, d'heures de travail rémunéré, de rapport à l'école, toutes corrélées au genre. La formulation correcte parle d'une différence ASSOCIÉE au genre, et non d'un effet du genre.

d) L'absence de rejet n'est pas une preuve d'absence. Avec $p=0{,}21$, les données sont COMPATIBLES avec l'hypothèse nulle, et elles le sont tout autant avec des différences de plusieurs points, comme le montrerait l'intervalle de confiance que l'article ne publie pas. Il faudrait aussi connaître le nombre de programmes comparés et l'effectif de chacun : une comparaison entre six programmes de 200 étudiants n'a pas la même puissance qu'entre deux programmes de 600.

e) « Les étudiantes obtiennent en moyenne 73,8 contre 70,2 pour les étudiants, soit 3,6 points d'écart, différence statistiquement significative, $t\left(1\,198\right)=4{,}12$; $p<0{,}001$, mais de faible ampleur, $d=0{,}24$, avec un intervalle de confiance de 1,9 à 5,3 points. Le genre n'ayant pas été assigné, cette différence ne peut être interprétée comme un effet causal. La comparaison entre programmes ne permet pas de conclure, $p=0{,}21$; l'intervalle de confiance de l'écart entre les programmes extrêmes reste toutefois compatible avec des différences de plusieurs points, et l'étude ne permet donc pas d'écarter un lien. » Le paragraphe donne les écarts bruts, les tailles d'effet, les intervalles, et remplace deux affirmations abusives par deux constats d'indécision.