Exercices corrigés : l'analyse de variance à un facteur (360-301)

a) Le nombre de paires vaut $\dfrac{k(k-1)}{2}$. Avec 3 groupes : $\dfrac{3\times 2}{2}=3$ comparaisons. Avec 5 groupes : $\dfrac{5\times 4}{2}=10$ comparaisons.

b) Si les cinq groupes provenaient d'une même population, chaque test aurait 95 % de chances de ne pas rejeter, donc la probabilité de ne se tromper sur aucun des dix vaut $0{,}95^{10}\approx 0{,}5987$. Le risque d'au moins une conclusion erronée atteint donc $1-0{,}5987\approx 0{,}4013$, soit 40 %. On croit travailler à 5 % de risque et l'on travaille en réalité à 40 % : c'est l'inflation du risque de première espèce, et c'est la raison d'être de l'analyse de variance.

c) Hypothèse NULLE : $\mu_{A}=\mu_{B}=\mu_{C}$, les trois programmes ont la même moyenne dans la population. Hypothèse ALTERNATIVE : au moins une moyenne diffère des autres. Il faut noter la formulation prudente de l'alternative : elle ne dit ni laquelle, ni combien, ni dans quel sens. C'est un test dit OMNIBUS, qui répond par oui ou par non à une question globale.

d) $\overline{x}_{A}=\dfrac{72+75+78+80+85}{5}=\dfrac{390}{5}=78$. $\overline{x}_{B}=\dfrac{350}{5}=70$. $\overline{x}_{C}=\dfrac{330}{5}=66$. Moyenne générale : $\dfrac{390+350+330}{15}=\dfrac{1\,070}{15}\approx 71{,}333$. Les groupes étant de taille égale, la moyenne générale est aussi la moyenne des trois moyennes, ce qui n'est plus vrai si les effectifs diffèrent.

e) On sait que les trois moyennes ne sont pas toutes égales dans la population : au moins une paire diffère. On ne sait PAS laquelle, ni combien de paires, ni dans quel sens. Répondre à ces questions demande une seconde étape, les comparaisons multiples a posteriori, avec une correction du seuil. Et surtout, un rejet ne dit rien de l'AMPLEUR des écarts : il faut calculer une mesure comme $\eta^{2}$, qui donne la part de la variance des notes expliquée par le programme.

a) Écarts des moyennes de groupe à la moyenne générale : $78-71{,}333=6{,}667$; $70-71{,}333=-1{,}333$; $66-71{,}333=-5{,}333$. Leurs carrés : $44{,}444$; $1{,}778$; $28{,}444$, de somme $74{,}667$. Chaque groupe comptant 5 étudiants : $SCE_{inter}=5\times 74{,}667\approx 373{,}33$.

b) Groupe A, écarts à 78 : $-6$, $-3$, 0, 2, 7; carrés 36, 9, 0, 4, 49, somme 98. Groupe B, écarts à 70 : $-5$, $-2$, 0, 2, 5; carrés 25, 4, 0, 4, 25, somme 58. Groupe C, écarts à 66 : $-6$, $-2$, 0, 3, 5; carrés 36, 4, 0, 9, 25, somme 74. Total : $98+58+74=230$.

c) $373{,}33+230=603{,}33$. Contrôle direct : en calculant les quinze écarts à la moyenne générale 71,333 et en additionnant leurs carrés, on retrouve bien 603,33. L'égalité $SCE_{total}=SCE_{inter}+SCE_{intra}$ est exacte, pas approximative : c'est un théorème, et il vaut quels que soient les effectifs.

d) Degrés de liberté : inter, $k-1=3-1=2$; intra, $N-k=15-3=12$; total, $N-1=15-1=14$. On vérifie que $2+12=14$. Les degrés de liberté se décomposent donc exactement comme les sommes de carrés, ce qui est la seconde moitié du théorème.

e) La somme des carrés INTER mesure ce que les groupes ont de DIFFÉRENT : elle est nulle si les trois moyennes coïncident et grandit à mesure qu'elles s'écartent. La somme des carrés INTRA mesure la variabilité RÉSIDUELLE, celle qui subsiste entre étudiants d'un même programme, et qui sert de référence : c'est le bruit contre lequel on jugera le signal.

a) Carré moyen INTER : $\dfrac{373{,}33}{2}\approx 186{,}67$. Carré moyen INTRA : $\dfrac{230}{12}\approx 19{,}167$. Tableau : source inter, $SCE=373{,}33$, $ddl=2$, $CM=186{,}67$; source intra, $SCE=230{,}00$, $ddl=12$, $CM=19{,}167$; total, $SCE=603{,}33$, $ddl=14$. Attention : les carrés moyens ne s'additionnent PAS, contrairement aux sommes de carrés et aux degrés de liberté.

b) $F=\dfrac{186{,}67}{19{,}167}\approx 9{,}739$. Comme $9{,}739>6{,}927$, on rejette l'hypothèse d'égalité des moyennes au seuil de 1 %, et a fortiori à 5 %. La valeur p est inférieure à 0,01; un logiciel donnerait environ 0,003. La conclusion s'écrit : les trois programmes ne présentent pas la même moyenne, $F\left(2;12\right)=9{,}74$, p inférieur à 0,01.

c) Parce que le numérateur ne peut que GRANDIR quand les moyennes s'écartent, jamais diminuer : la somme des carrés inter est une somme de carrés, donc positive ou nulle. Un $F$ proche de zéro signifie que les moyennes de groupe se ressemblent plus que le hasard ne le ferait, ce qui n'est pas un argument contre l'hypothèse nulle. Toute la zone de rejet est donc située à droite, et il n'existe pas de version bilatérale du test.

d) Si les trois moyennes étaient identiques, la somme des carrés inter serait nulle et $F=0$. Si la variabilité interne était nulle, tous les étudiants d'un même programme ayant exactement la même note, le dénominateur serait nul et $F$ tendrait vers l'infini : n'importe quel écart entre groupes deviendrait alors infiniment significatif, ce qui est cohérent, puisque sans bruit interne le moindre écart est certain.

e) Avec deux groupes, $F=t^{2}$, exactement. Le test de Fisher et le test t bilatéral donnent alors rigoureusement la même décision, et les valeurs critiques se correspondent : $1{,}96^{2}=3{,}84$, qui est bien la valeur critique du $F$ à 1 et l'infini degrés de liberté. L'analyse de variance est donc une GÉNÉRALISATION du test t, et non un outil concurrent.

a) $\eta^{2}=\dfrac{373{,}33}{603{,}33}\approx 0{,}6188$. Le programme explique donc environ 61,9 % de la variation totale des notes, ce qui est considérable. Autrement dit, si l'on connaît le programme d'un étudiant, on a déjà rendu compte des trois cinquièmes de la dispersion des résultats; il ne reste que 38 % de variation à expliquer par tout le reste.

b) $\eta^{2}$ varie entre 0 et 1. Il vaut 0 quand toutes les moyennes de groupe coïncident, donc quand le facteur n'explique rien. Il vaut 1 quand la variabilité interne est nulle, c'est-à-dire quand connaître le groupe permet de prédire exactement la note. Ces deux bornes sont les mêmes que celles du coefficient de détermination d'une régression, et ce n'est pas un hasard : $\eta^{2}$ EST un coefficient de détermination, celui de la prédiction de la note par la moyenne de son groupe.

c) Avec 0,619, on est très loin au-delà du seuil de 0,14 qui marque un grand effet : l'effet est ici massif. Il faut cependant tempérer : ces données ont cinq étudiants par groupe, choisis pour l'exercice, et de tels rapports sont rares sur des données réelles de sciences humaines, où un $\eta^{2}$ de 0,10 est déjà un beau résultat.

d) Avec 15 étudiants par groupe au lieu de 5, les sommes de carrés sont toutes multipliées par 3 : $SCE_{inter}=1\,120$, $SCE_{intra}=690$. Les degrés de liberté deviennent 2 et 42, donc $CM_{inter}=560$ et $CM_{intra}\approx 16{,}43$, d'où $F\approx 34{,}09$ : le $F$ a plus que triplé. En revanche $\eta^{2}=\dfrac{1120}{1810}\approx 0{,}6188$, strictement INCHANGÉ. On retrouve exactement le contraste du chapitre précédent entre significativité et intensité.

e) $\eta^{2}$ est BIAISÉ VERS LE HAUT sur de petits échantillons : même sous l'hypothèse nulle, les moyennes de groupe ne coïncident jamais parfaitement, donc $SCE_{inter}$ est strictement positive et $\eta^{2}$ aussi. Son espérance sous l'hypothèse nulle vaut environ $\dfrac{k-1}{N-1}$, ici $\dfrac{2}{14}\approx 0{,}143$, ce qui n'est pas négligeable. La correction usuelle est l'oméga carré, $\omega^{2}=\dfrac{SCE_{inter}-\left(k-1\right)CM_{intra}}{SCE_{total}+CM_{intra}}$, qui vaut ici $\dfrac{373{,}33-2\times 19{,}167}{603{,}33+19{,}167}=\dfrac{335{,}0}{622{,}5}\approx 0{,}538$, soit huit points de moins.

a) Première condition, l'INDÉPENDANCE des observations : chaque étudiant ne figure que dans un groupe, et les résultats ne sont pas liés entre eux. Deuxième condition, la NORMALITÉ de la variable dans chaque population. Troisième condition, l'HOMOGÉNÉITÉ des variances, dite homoscédasticité : les $k$ populations ont la même variance.

b) Variances : $4{,}95^{2}=24{,}50$; $3{,}81^{2}=14{,}52$; $4{,}30^{2}=18{,}49$. Rapport des extrêmes : $\dfrac{24{,}50}{14{,}52}\approx 1{,}688$. La règle empirique la plus employée tolère un rapport allant jusqu'à 4 quand les effectifs sont égaux; avec 1,69, l'homogénéité est amplement acceptable. Le test de Levene, qui formalise la vérification, ne rejetterait certainement pas.

c) La NORMALITÉ est la plus tolérante, pour deux raisons. D'abord le test porte sur des MOYENNES de groupe, dont la distribution d'échantillonnage tend vers la normale par le théorème central limite, même si la variable brute ne l'est pas. Ensuite, le $F$ est connu pour être robuste à des écarts modérés à la normalité, en particulier quand les effectifs sont égaux. Une asymétrie franche sur de très petits groupes reste néanmoins un problème, et l'on regarde alors les résidus plutôt que la variable brute.

d) L'INDÉPENDANCE ne pardonne jamais. Exemple de violation : mesurer trois fois les mêmes étudiants sous trois conditions et traiter les quinze mesures comme quinze observations indépendantes. La variabilité entre individus est alors comptée dans le dénominateur alors qu'elle devrait être éliminée, exactement comme dans le cas apparié du chapitre précédent, et la conclusion peut être fausse dans les deux sens. Autre violation fréquente : des étudiants d'une même classe, qui se ressemblent entre eux, traités comme un tirage indépendant.

e) Trois voies. Si seule l'homogénéité échoue, on emploie l'analyse de variance de WELCH, qui ajuste les degrés de liberté comme le fait le test t de Welch. Si la normalité échoue franchement sur de petits groupes, on passe au test non paramétrique de KRUSKAL-WALLIS, qui travaille sur les rangs. Si c'est l'indépendance qui échoue parce que les mêmes sujets sont mesurés plusieurs fois, il faut changer de modèle : analyse de variance à MESURES RÉPÉTÉES, qui isole la variabilité entre sujets exactement comme l'appariement le faisait pour deux groupes.

a) $ET=\sqrt{19{,}167\left(\dfrac{1}{5}+\dfrac{1}{5}\right)}=\sqrt{19{,}167\times 0{,}4}=\sqrt{7{,}6667}\approx 2{,}7689$. Cette erreur type est la même pour les trois paires, puisque les effectifs sont égaux et que la variance commune est estimée sur l'ensemble.

b) A moins C : $\dfrac{78-66}{2{,}7689}=\dfrac{12}{2{,}7689}\approx 4{,}334$. A moins B : $\dfrac{8}{2{,}7689}\approx 2{,}889$. B moins C : $\dfrac{4}{2{,}7689}\approx 1{,}445$.

c) Avec la valeur critique corrigée de 2,779 : A contre C, $4{,}334>2{,}779$, différence SIGNIFICATIVE. A contre B, $2{,}889>2{,}779$, significative également, mais de justesse. B contre C, $1{,}445<2{,}779$, NON significative. On conclut donc que le programme A se distingue des deux autres, et que B et C ne se distinguent pas entre eux. Sans correction, la valeur critique aurait été 2,179 et la troisième paire aurait été à un cheveu du seuil, ce qui montre l'effet réel de la correction.

d) L'écart minimal détectable vaut $2{,}779\times 2{,}7689\approx 7{,}694$ points. Toute différence de moyennes inférieure à 7,7 points sera déclarée non significative dans cette étude, quelle que soit la paire. C'est une information très utile à publier : elle dit d'emblée que l'étude, avec cinq étudiants par groupe, est aveugle à tout écart de moins de huit points.

e) Parce que $CM_{intra}$ estime la variance commune sur les QUINZE observations, donc avec 12 degrés de liberté, alors qu'une paire n'en fournirait que 8. L'estimation est plus stable, la valeur critique plus basse, et le test plus puissant. C'est un des avantages de l'analyse de variance : elle met en commun l'information de tous les groupes pour estimer le bruit, y compris pour les comparaisons qui ne les concernent pas directement. La contrepartie est que ce gain suppose l'homogénéité des variances, condition qu'il fallait donc vérifier avant.

a) Moyenne générale : $\dfrac{40\times 74{,}0+25\times 70{,}4+15\times 66{,}0}{80}=\dfrac{2\,960+1\,760+990}{80}=\dfrac{5\,710}{80}=71{,}375$. Ce n'est pas la moyenne des trois moyennes, qui vaudrait $\dfrac{74{,}0+70{,}4+66{,}0}{3}\approx 70{,}133$, parce que la moyenne générale PONDÈRE chaque groupe par son effectif : le groupe de 40 étudiants pèse deux fois et demie plus que celui de 15. L'écart de 1,24 point entre les deux calculs est exactement le genre d'erreur qui fausse tout un tableau d'analyse.

b) Écarts à 71,375 : $2{,}625$; $-0{,}975$; $-5{,}375$. $SCE_{inter}=40\times 2{,}625^{2}+25\times 0{,}975^{2}+15\times 5{,}375^{2}=40\times 6{,}8906+25\times 0{,}950625+15\times 28{,}8906=275{,}625+23{,}7656+433{,}359\approx 732{,}75$.

c) Degrés de liberté : inter $3-1=2$; intra $80-3=77$; total 79. Carrés moyens : $\dfrac{732{,}75}{2}=366{,}375$ et $\dfrac{5\,940}{77}\approx 77{,}143$. $F=\dfrac{366{,}375}{77{,}143}\approx 4{,}749$. Comme $4{,}749>3{,}12$, on rejette : les trois programmes n'ont pas la même moyenne, $F\left(2;77\right)=4{,}75$, p inférieur à 0,05.

d) $SCE_{total}=732{,}75+5\,940=6\,672{,}75$, donc $\eta^{2}=\dfrac{732{,}75}{6\,672{,}75}\approx 0{,}1098$. Le programme n'explique donc que 11 % de la variation des notes, ce qui est un effet moyen à grand selon les repères mais laisse 89 % de la dispersion à expliquer par autre chose. Le contraste avec l'exemple à cinq étudiants par groupe est instructif : là, $F$ valait 9,74 pour un $\eta^{2}$ de 0,62; ici, $F$ vaut 4,75 pour un $\eta^{2}$ six fois plus petit. C'est l'effectif de 80 qui rend significatif un effet bien plus modeste.

e) Premier piège, la MOYENNE GÉNÉRALE : elle doit être pondérée par les effectifs, et prendre la moyenne des moyennes fausse toutes les sommes de carrés qui en découlent. Second piège, la SENSIBILITÉ AUX CONDITIONS : quand les effectifs sont égaux, l'analyse de variance tolère bien l'hétérogénéité des variances; quand ils sont inégaux, elle devient franchement trompeuse, dans un sens ou dans l'autre selon que le grand groupe porte ou non la grande variance. Avec des effectifs déséquilibrés, la vérification de l'homogénéité cesse d'être une formalité, et la version de Welch devient le choix prudent.

1) FAUX. Le test est OMNIBUS : il indique qu'au moins une paire de moyennes diffère, sans dire laquelle ni combien. Sur l'exemple du chapitre, A se distingue de B et de C, mais B et C ne se distinguent pas entre eux. Énoncé correct : au moins une moyenne diffère des autres; les comparaisons multiples a posteriori, avec correction du seuil, identifient lesquelles.

2) FAUX. Trois tests t au seuil de 5 % portent le risque global à environ $1-0{,}95^{3}\approx 0{,}143$, soit 14 % au lieu de 5 %, et le problème empire vite : dix comparaisons donnent 40 %. De plus, chaque test t n'utiliserait que deux groupes pour estimer la variance résiduelle, avec 8 degrés de liberté au lieu de 12, donc moins de puissance. Énoncé correct : l'analyse de variance contrôle le risque global et estime le bruit sur tous les groupes à la fois.

3) FAUX. Les SOMMES DE CARRÉS s'additionnent, et les DEGRÉS DE LIBERTÉ aussi, mais les carrés moyens sont des quotients et ne s'additionnent pas. Ici, $186{,}67+19{,}17=205{,}83$, alors que le carré moyen total vaut $\dfrac{603{,}33}{14}\approx 43{,}1$. Énoncé correct : seules les sommes de carrés et les degrés de liberté se décomposent additivement.

4) FAUX. Le $F$ dépend de l'effectif autant que de l'ampleur de l'écart : sur l'exemple du chapitre, tripler les effectifs fait passer $F$ de 9,74 à 34,09 sans que rien n'ait changé dans les données. La mesure d'intensité est $\eta^{2}$, resté à 0,619. Énoncé correct : l'effet est très clairement établi; son intensité se lit sur $\eta^{2}$, qui vaut 0,62.

5) FAUX. Les trois mesures portent sur les mêmes personnes : elles ne sont pas indépendantes, et la première condition de l'analyse de variance est violée. La variabilité entre individus, qui devrait être éliminée, se retrouve au dénominateur et écrase le signal. Énoncé correct : il faut une analyse de variance à MESURES RÉPÉTÉES, qui isole la variabilité entre sujets, exactement comme le test t apparié le fait pour deux conditions.

a) $N=18+20+22=60$. Moyenne générale : $\dfrac{18\times 68{,}5+20\times 74{,}1+22\times 71{,}8}{60}=\dfrac{1\,233+1\,482+1\,579{,}6}{60}=\dfrac{4\,294{,}6}{60}\approx 71{,}577$.

b) Écarts à 71,577 : $-3{,}077$; $2{,}523$; $0{,}223$. $SCE_{inter}=18\times 9{,}4661+20\times 6{,}3665+22\times 0{,}0498=170{,}39+127{,}33+1{,}10\approx 298{,}82$.

c) $SCE_{1}=17\times 9{,}2^{2}=17\times 84{,}64=1\,438{,}88$. $SCE_{2}=19\times 8{,}7^{2}=19\times 75{,}69=1\,438{,}11$. $SCE_{3}=21\times 9{,}6^{2}=21\times 92{,}16=1\,935{,}36$. Total : $SCE_{intra}\approx 4\,812{,}35$. Cette formule est celle qu'il faut retenir : elle permet de reconstituer une analyse de variance à partir des seules statistiques publiées, sans les données brutes.

d) Degrés de liberté : 2 et $60-3=57$. Carrés moyens : $\dfrac{298{,}82}{2}\approx 149{,}41$ et $\dfrac{4\,812{,}35}{57}\approx 84{,}427$. $F=\dfrac{149{,}41}{84{,}427}\approx 1{,}770$. Comme $1{,}770<3{,}16$, on NE REJETTE PAS : les données ne permettent pas de conclure à une différence entre les trois méthodes au seuil de 5 %.

e) $SCE_{total}=298{,}82+4\,812{,}35=5\,111{,}17$, donc $\eta^{2}=\dfrac{298{,}82}{5\,111{,}17}\approx 0{,}0585$, soit un effet MOYEN au regard des repères. Conclusion : « Les moyennes des trois méthodes valent 68,5, 74,1 et 71,8. L'analyse de variance ne permet pas de conclure à une différence, $F\left(2;57\right)=1{,}77$; p supérieur à 0,05. La part de variance associée à la méthode, $\eta^{2}=0{,}059$, correspond pourtant à un effet moyen, et l'écart de 5,6 points entre les méthodes 1 et 2 reste appréciable : avec 20 étudiants par groupe, l'étude n'avait pas la puissance de le détecter. Une réplication sur environ 50 étudiants par groupe serait nécessaire avant de conclure à l'équivalence des méthodes. » On voit ici tout l'intérêt de publier la taille d'effet même quand le test ne rejette pas : elle transforme un résultat nul en résultat informatif.

a) Le facteur a $ddl=k-1=4$, donc $k=5$ régions. Les degrés de liberté résiduels valent $N-k=295$, donc $N=295+5=300$ répondants. Reconstituer ces deux nombres à partir des seuls degrés de liberté est le premier réflexe de lecture d'un tableau d'analyse de variance.

b) Carré moyen du facteur : $\dfrac{1\,842}{4}=460{,}5$. Carré moyen résiduel : $\dfrac{27\,630}{295}\approx 93{,}66$. $F=\dfrac{460{,}5}{93{,}66}\approx 4{,}917$. Comme $4{,}917>3{,}36$, le résultat est bien significatif au seuil de 1 %; la valeur p vaut environ 0,0008, ce qui justifie le « p inférieur à 0,001 » annoncé.

c) $SCE_{total}=1\,842+27\,630=29\,472$, donc $\eta^{2}=\dfrac{1\,842}{29\,472}\approx 0{,}0625$. La région explique donc 6,25 % de la variation du sentiment d'appartenance, et 93,75 % lui échappent. L'expression « hautement significatif » est exacte au sens technique et trompeuse au sens ordinaire : elle décrit la solidité de la détection, pas l'ampleur du phénomène. Parler de « l'importance des ancrages territoriaux » sur la base d'un seizième de la variance est une extrapolation que le tableau ne soutient pas.

d) Non, pas au sens causal. La région n'a pas été assignée au hasard : les habitants d'une région diffèrent par l'âge, la scolarité, l'origine, la ruralité, autant de variables liées au sentiment d'appartenance. L'analyse de variance à un facteur ne contrôle rien de tout cela, et le mot « effet », qui est un terme technique désignant le facteur dans le modèle, se lit dans le texte comme une affirmation de causalité. C'est une ambiguïté de vocabulaire que les rédacteurs prudents évitent en écrivant « différence associée à la région ».

e) « Le sentiment d'appartenance diffère significativement entre les cinq régions, $F\left(4;295\right)=4{,}92$; p inférieur à 0,001. La région rend toutefois compte de 6,3 % seulement de la variation totale, $\eta^{2}=0{,}063$, ce qui laisse l'essentiel des différences individuelles inexpliqué. La région n'ayant pas été assignée, cette association ne peut être interprétée comme un effet causal, et il faudrait contrôler l'âge, la scolarité et le lieu de naissance avant de conclure quoi que ce soit sur les ancrages territoriaux. » Trois corrections : la taille d'effet est publiée, le mot effet disparaît, et les variables de contrôle manquantes sont nommées.