Exercices corrigés : les tests non paramétriques (360-301)

a) Première situation, une variable ORDINALE : un rang de satisfaction, un classement, un niveau de scolarité codé. Deuxième situation, de PETITS EFFECTIFS combinés à une distribution manifestement non normale : sous une trentaine d'observations par groupe, le théorème central limite ne sauve plus la mise. Troisième situation, la présence de VALEURS EXTRÊMES : une seule observation aberrante peut déplacer une moyenne de plusieurs écarts-types, alors qu'elle ne déplace un rang que d'un cran.

b) Rangs de 12, 15, 9, 40, 11 : $3$, $4$, $1$, $5$, $2$. En remplaçant 40 par 400, les rangs deviennent exactement les mêmes : $3$, $4$, $1$, $5$, $2$. La moyenne, elle, passe de 17,4 à 89,4. C'est la propriété centrale des rangs : ils sont INSENSIBLES à l'ampleur des écarts et ne retiennent que l'ordre, ce qui les rend robustes et, en même temps, moins informatifs.

c) Ils conservent l'hypothèse d'INDÉPENDANCE des observations, qui n'est jamais négociable, et la plupart supposent en outre que les distributions comparées ont la MÊME FORME, ne différant que par leur position. Sans cette dernière hypothèse, un rejet de Mann-Whitney ne se traduit pas nécessairement par une différence de médianes : il indique seulement qu'une observation d'un groupe a tendance à dépasser une observation de l'autre.

d) Sur une échelle ORDINALE. Le test t compare des moyennes, or une moyenne suppose que les écarts entre valeurs successives soient comparables, ce que l'ordinal ne garantit pas : rien ne dit que l'écart entre « en désaccord » et « neutre » égale celui entre « neutre » et « d'accord ». Calculer une moyenne y est donc une convention, et la tester comme si c'était une quantité est un abus. Les rangs, eux, n'utilisent que l'ordre, c'est-à-dire exactement l'information que l'échelle contient.

e) On leur attribue le RANG MOYEN des positions qu'ils occupent. Trois observations égales en positions 4, 5 et 6 reçoivent chacune le rang $\dfrac{4+5+6}{3}=5$. La somme totale des rangs reste ainsi $\dfrac{N(N+1)}{2}$, ce qui est le contrôle à faire. Si les ex aequo sont nombreux, la variance des rangs diminue et il faut appliquer une correction aux formules, faute de quoi le test devient trop conservateur.

a) Ordre croissant, avec le groupe entre parenthèses : 9 (B) rang 1, 11 (B) rang 2, 12 (A) rang 3, 14 (B) rang 4, 15 (A) rang 5, 16 (B) rang 6, 17 (A) rang 7, 19 (B) rang 8, 21 (A) rang 9, 22 (B) rang 10, 24 (A) rang 11, 26 (B) rang 12, 30 (A) rang 13.

b) $R_{A}=3+5+7+9+11+13=48$. $R_{B}=1+2+4+6+8+10+12=43$. Total : $48+43=91$, qui doit valoir $\dfrac{N(N+1)}{2}=\dfrac{13\times 14}{2}=91$. La vérification passe, ce qui garantit qu'aucun rang n'a été oublié ni compté deux fois.

c) $U_{A}=48-\dfrac{6\times 7}{2}=48-21=27$. $U_{B}=43-\dfrac{7\times 8}{2}=43-28=15$. Contrôle : $27+15=42=6\times 7=n_{A}n_{B}$. Cette identité est automatique et sert de second garde-fou.

d) On retient le PLUS PETIT des deux, $U=15$. La règle de décision des tests de rangs est inversée par rapport aux tests paramétriques : on rejette quand la statistique est INFÉRIEURE OU ÉGALE à la valeur critique. Comme $15>6$, on ne rejette pas : les données ne permettent pas de conclure à une différence entre les deux groupes au seuil de 5 %.

e) $U_{B}=15$ signifie que, sur les 42 paires possibles formées d'un membre de A et d'un membre de B, il y en a 15 où le membre de B dépasse celui de A. Sous l'hypothèse nulle, on en attendrait la moitié, soit 21. On observe donc un léger avantage au groupe A, 27 paires sur 42, soit 64 % : réel mais bien trop faible pour treize observations. C'est cette lecture en paires qui donne son sens au test, et elle est directement liée à la probabilité qu'un membre pris au hasard dans A dépasse un membre pris au hasard dans B.

a) Valeurs absolues : 4, 1, 6, 3, 5, 2, 7, 9. Rangées : 1, 2, 3, 4, 5, 6, 7, 9, ce qui donne les rangs 1 à 8 dans cet ordre. Donc rang 1 pour la différence $-1$, rang 2 pour $-2$, rang 3 pour $+3$, rang 4 pour $+4$, rang 5 pour $+5$, rang 6 pour $+6$, rang 7 pour $+7$, rang 8 pour $+9$.

b) $W^{+}=3+4+5+6+7+8=33$. $W^{-}=1+2=3$. Total : $33+3=36$, qui doit valoir $\dfrac{n(n+1)}{2}=\dfrac{8\times 9}{2}=36$. Le contrôle passe.

c) On retient le plus petit, $W=3$. La règle est de rejeter si $W\le W_{crit}$ : comme $3\le 3$, on REJETTE tout juste l'hypothèse nulle au seuil de 5 %. La progression observée est donc significative, de justesse. Il faut noter que l'égalité stricte suffit à rejeter, ce qui n'a rien d'évident et se lit dans la définition de la valeur critique : c'est le plus grand $W$ dont la probabilité cumulée n'excède pas 2,5 % de chaque côté.

d) Une différence nulle ne peut recevoir ni signe ni rang utile : la pratique dominante est de l'EXCLURE et de réduire $n$ d'autant, ce qui change la valeur critique. Une variante, plus conservatrice, consiste à répartir les nuls entre les deux camps. L'important est de dire ce qu'on a fait : avec de petits échantillons, exclure deux nuls sur dix modifie sensiblement le seuil.

e) Le test des SIGNES ne regarde que le sens de chaque différence, plus ou moins, en ignorant leur ampleur : sur nos données, il verrait six plus et deux moins, sans savoir que les deux différences négatives sont les plus petites de toutes. Wilcoxon, en rangeant les valeurs absolues, tient compte de cette information supplémentaire et devient nettement plus puissant. Le prix est une hypothèse de plus : la distribution des différences doit être approximativement SYMÉTRIQUE autour de sa médiane, faute de quoi les rangs des positives et des négatives ne sont pas comparables.

a) Ordre croissant : 12 (C) 1, 15 (C) 2, 17 (C) 3, 18 (B) 4, 20 (B) 5, 21 (C) 6, 22 (A) 7, 24 (B) 8, 25 (A) 9, 27 (B) 10, 28 (A) 11, 31 (A) 12. Sommes : $R_{A}=7+9+11+12=39$; $R_{B}=4+5+8+10=27$; $R_{C}=1+2+3+6=12$.

b) $39+27+12=78$, et $\dfrac{12\times 13}{2}=78$. Le contrôle passe. Il faut remarquer l'ordre des sommes : A occupe les rangs élevés, C les rangs bas, ce que le test va formaliser.

c) $\sum \dfrac{R_{j}^{2}}{n_{j}}=\dfrac{39^{2}}{4}+\dfrac{27^{2}}{4}+\dfrac{12^{2}}{4}=\dfrac{1\,521+729+144}{4}=\dfrac{2\,394}{4}=598{,}5$. Ensuite $H=\dfrac{12}{12\times 13}\times 598{,}5-3\times 13=\dfrac{12}{156}\times 598{,}5-39=0{,}076923\times 598{,}5-39=46{,}038-39\approx 7{,}038$.

d) Degrés de liberté : $k-1=2$. La valeur critique du khi-deux vaut 5,991 au seuil de 5 %. Comme $7{,}038>5{,}991$, on REJETTE : au moins un des trois groupes diffère des autres. La valeur p vaut environ 0,030. Une réserve d'usage : l'approximation par le khi-deux suppose des effectifs d'au moins cinq par groupe, or nous n'en avons que quatre; un logiciel utiliserait ici la distribution exacte de $H$, et la conclusion pourrait être un peu moins nette.

e) Exactement comme après une analyse de variance : par des comparaisons deux à deux, ici des tests de Mann-Whitney, avec une correction du seuil pour le nombre de comparaisons. Avec trois groupes, trois comparaisons, donc un seuil de Bonferroni de $\dfrac{0{,}05}{3}\approx 0{,}0167$. Sur de si petits effectifs, aucune comparaison deux à deux n'atteindra ce seuil : le test global détecte une tendance d'ensemble que les comparaisons individuelles n'ont pas la puissance de localiser, situation fréquente et qu'il faut savoir annoncer plutôt que masquer.

a) $d_{i}$ est la différence entre les deux rangs d'une même observation : son rang sur la première variable moins son rang sur la seconde. La formule suppose l'absence d'ex aequo; avec des ex aequo, on calcule directement le coefficient de Pearson SUR LES RANGS, ce qui donne le même résultat dans le cas sans ex aequo et reste correct dans l'autre.

b) Différences : $1-2=-1$; $2-1=1$; $3-4=-1$; $4-3=1$; $5-6=-1$; $6-5=1$; $7-8=-1$; $8-7=1$. Carrés : huit fois 1, donc $\sum d_{i}^{2}=8$. Alors $r_{s}=1-\dfrac{6\times 8}{8\times \left(64-1\right)}=1-\dfrac{48}{504}=1-0{,}095238\approx 0{,}905$. Les deux classements sont donc très fortement concordants, ce que l'on voit à l'oeil puisque chaque étudiant n'est déplacé que d'un rang.

c) S'ils coïncidaient exactement, tous les $d_{i}$ seraient nuls et $r_{s}=1$. S'ils étaient exactement inversés, on aurait $\sum d_{i}^{2}=\dfrac{n\left(n^{2}-1\right)}{3}$, ici $\dfrac{8\times 63}{3}=168$, donc $r_{s}=1-\dfrac{6\times 168}{504}=1-2=-1$. Le coefficient varie donc bien entre $-1$ et $+1$, comme celui de Pearson.

d) La relation étant strictement croissante, les rangs se correspondent parfaitement et $r_{s}=1$ exactement. Le coefficient de Pearson, lui, ne vaut qu'environ 0,90, parce qu'il mesure l'ajustement à une DROITE et que la relation est exponentielle. Voilà la différence essentielle entre les deux : Spearman atteint 1 dès que la relation est monotone, quelle que soit sa forme, Pearson exige la linéarité.

e) Premier cas, quand la relation est monotone mais NON LINÉAIRE : Spearman la reconnaît pour ce qu'elle est, Pearson la sous-estime. Second cas, en présence de VALEURS EXTRÊMES : un seul point très éloigné peut faire passer un Pearson de 0,2 à 0,8 ou l'inverse, alors qu'il ne déplace un rang que d'un cran. On ajoute un troisième cas, obligatoire celui-là : quand au moins une des deux variables est ORDINALE, Pearson n'a tout simplement pas de sens.

a) $\dfrac{3}{\pi}=\dfrac{3}{3{,}14159}\approx 0{,}955$. Traduit en effectif : pour atteindre la même puissance que le test t, il faut environ $\dfrac{1}{0{,}955}\approx 1{,}047$ fois plus d'observations, soit 4,7 % de plus. Avec 100 sujets par groupe, il en faudrait 105 : le coût est presque nul, alors que le test de rangs n'exige aucune hypothèse de normalité. C'est un rapport qualité-prix remarquable, et c'est la raison pour laquelle beaucoup de méthodologistes recommandent aujourd'hui les rangs par défaut.

b) Elle DÉPASSE 1, souvent largement : sur des distributions à queues lourdes, où les valeurs extrêmes sont fréquentes, l'efficacité peut atteindre 1,5 et davantage. Autrement dit, le test de rangs devient PLUS puissant que le test t, parce que la moyenne et l'écart-type sont eux-mêmes fortement perturbés par les valeurs extrêmes, alors que les rangs les absorbent. Le test paramétrique n'est optimal que dans le cas précis pour lequel il a été construit.

c) Que la prudence a un coût faible mais qu'elle a un coût, et surtout qu'elle change la question posée. Un test t compare des MOYENNES; Mann-Whitney compare la tendance d'un groupe à dépasser l'autre, ce qui n'équivaut à comparer des médianes que si les deux distributions ont la même forme. Sur des données où la moyenne est la quantité qui intéresse le décideur, un revenu total, une dépense, il faut la tester elle. La règle raisonnable est : rangs quand la variable est ordinale, quand les effectifs sont petits, ou quand les extrêmes dominent; sinon, test paramétrique avec vérification des résidus.

d) En général non, si la seule inquiétude est la normalité : avec 200 observations par groupe, la distribution d'échantillonnage de la moyenne est normale par le théorème central limite, quelle que soit la forme de la variable. Le test t est alors parfaitement valide. Le test de rangs reste utile pour une autre raison : si la distribution est très asymétrique, la MÉDIANE peut être une bien meilleure description que la moyenne, et l'on choisit alors les rangs par pertinence et non par prudence.

e) Un test de rangs ne fournit jamais d'ESTIMATION de l'ampleur dans l'unité d'origine : il ne dit pas de combien de points les groupes diffèrent. On y remédie en publiant à côté une mesure lisible, la différence des médianes avec son intervalle de confiance, obtenue par la méthode de Hodges-Lehmann, ou une taille d'effet fondée sur les rangs, comme la probabilité qu'une observation d'un groupe dépasse une observation de l'autre, qui se lit directement dans $U$. Sans cela, on publie une décision sans quantité, ce qui est le même défaut que de publier une valeur p toute seule.

a) $H_{0}$ : la probabilité qu'un étudiant progresse vaut $0{,}5$, autrement dit la médiane des différences individuelles est nulle et le sens du changement est un pur tirage à pile ou face. L'hypothèse alternative bilatérale est que cette probabilité diffère de 0,5.

b) Le nombre de progressions suit une loi BINOMIALE de paramètres $n=15$ et $p=0{,}5$, puisque les quinze étudiants sont indépendants et que chacun a la même probabilité de progresser sous l'hypothèse nulle.

c) Nombre total de résultats possibles : $2^{15}=32\,768$. Nombre de résultats donnant 12 progressions ou plus : $455+105+15+1=576$. Probabilité unilatérale : $\dfrac{576}{32\,768}\approx 0{,}017578$. Par symétrie de la loi pour $p=0{,}5$, la valeur p bilatérale vaut le double : $2\times 0{,}017578\approx 0{,}035156$.

d) $0{,}0352<0{,}05$ : on REJETTE l'hypothèse nulle. Le nombre de progressions est trop élevé pour être attribué au hasard du sens des changements, et l'on conclut que la médiane des différences est positive. Il faut préciser que la conclusion porte sur le SENS et non sur l'ampleur : le test ignore complètement de combien chacun a progressé.

e) Le test des signes n'utilise que douze plus et trois moins. Wilcoxon utiliserait en plus les rangs des amplitudes, information supplémentaire qui le rend plus puissant : sur des données où les progressions sont grandes et les régressions minuscules, Wilcoxon rejettera là où les signes hésitent. En contrepartie, Wilcoxon suppose la SYMÉTRIE de la distribution des différences, alors que le test des signes ne suppose rien. Le choix se fait donc sur cette hypothèse : symétrie plausible, on prend Wilcoxon; distribution franchement asymétrique, on se rabat sur les signes et l'on accepte la perte de puissance.

1) FAUX. Ils supposent tous l'INDÉPENDANCE des observations, hypothèse qui n'est jamais négociable. La plupart supposent en outre l'égalité des FORMES des distributions comparées, et Wilcoxon exige la symétrie des différences. Énoncé correct : ils se passent de l'hypothèse de NORMALITÉ, ce qui est déjà beaucoup, mais ils ne se passent pas de toute hypothèse.

2) FAUX, la règle est inversée pour la statistique $U$. On rejette quand $U$ est INFÉRIEUR OU ÉGAL à la valeur critique, parce qu'un petit $U$ signifie qu'un groupe monopolise les rangs élevés. Avec $U=15$ contre une valeur critique de 6, on ne rejette pas. Énoncé correct : les données ne permettent pas de conclure à une différence entre les deux groupes.

3) FAUX. Spearman mesure la MONOTONIE, pas la linéarité : il vaut 1 dès que la relation est strictement croissante, qu'elle soit droite, exponentielle ou logarithmique. Sur le nuage exponentiel du chapitre, Spearman vaut 1 et Pearson environ 0,90. Énoncé correct : les deux classements coïncident parfaitement, donc la relation est strictement croissante; sa forme reste à examiner sur le nuage.

4) FAUX. Sous une distribution normale, l'efficacité de Mann-Whitney par rapport au test t vaut $\dfrac{3}{\pi}\approx 0{,}955$, soit 4,7 % d'observations en plus pour la même puissance. Et sur des distributions à queues lourdes, elle DÉPASSE 1. Énoncé correct : la perte de puissance est très faible dans le cas le plus favorable au test paramétrique, et elle devient un gain dès que les valeurs extrêmes sont fréquentes.

5) FAUX, exactement comme pour l'analyse de variance. Kruskal-Wallis est un test OMNIBUS : il indique qu'au moins un groupe se distingue, sans dire lequel. Énoncé correct : il faut enchaîner sur des comparaisons deux à deux, tests de Mann-Whitney avec correction du seuil, et il arrive fréquemment qu'aucune ne soit significative alors que le test global l'était.

a) Trois raisons se cumulent. La variable est ORDINALE, une échelle de Likert à sept niveaux : rien ne garantit que l'écart entre 4 et 5 égale celui entre 6 et 7. Les EFFECTIFS sont très petits, 7 et 6, donc le théorème central limite ne s'applique pas. Enfin la variable est BORNÉE à 7, ce qui produit une asymétrie mécanique dès que les réponses se tassent vers le haut, comme c'est le cas du groupe encadré.

b) Valeurs triées avec leurs groupes : 2 (L), 3 (L), 4 (E), 4 (L), 4 (L), 5 (E), 5 (E), 5 (L), 6 (E), 6 (E), 6 (L), 7 (E), 7 (E). Les trois 4 occupent les positions 3, 4 et 5, donc reçoivent chacun le rang moyen 4. Les trois 5 occupent 6, 7 et 8, rang moyen 7. Les trois 6 occupent 9, 10 et 11, rang moyen 10. Les deux 7 occupent 12 et 13, rang moyen 12,5. Rangs finaux : 2 vaut 1; 3 vaut 2; chaque 4 vaut 4; chaque 5 vaut 7; chaque 6 vaut 10; chaque 7 vaut 12,5.

c) Groupe encadré : un 4, deux 5, deux 6, deux 7, soit $4+7+7+10+10+12{,}5+12{,}5=63$. Groupe libre : un 2, un 3, deux 4, un 5, un 6, soit $1+2+4+4+7+10=28$. Contrôle : $63+28=91=\dfrac{13\times 14}{2}$. Puis $U_{E}=63-\dfrac{7\times 8}{2}=63-28=35$ et $U_{L}=28-\dfrac{6\times 7}{2}=28-21=7$. Contrôle : $35+7=42=7\times 6$.

d) On retient $U=7$. Comme $7>6$, on ne rejette PAS au seuil de 5 %, de très peu. Les données suggèrent fortement que le groupe encadré juge le cours plus clair, sans que treize observations suffisent à l'établir. La rédaction honnête est de donner la valeur p exacte, ici environ 0,051, plutôt que de conclure sèchement à l'absence de différence : à un point de mesure près, la conclusion basculait.

e) La MÉDIANE de chaque groupe, ici 6 pour l'encadré et 4 pour le libre, et surtout la probabilité qu'une observation du groupe encadré dépasse une observation du groupe libre, qui se lit directement dans $U$ : $\dfrac{U_{E}}{n_{E}n_{L}}=\dfrac{35}{42}\approx 0{,}833$. Autrement dit, dans cinq paires sur six, l'étudiant encadré juge le cours plus clair. Cette mesure, appelée probabilité de supériorité, est bien plus parlante que la statistique $U$ brute et elle ne dépend pas des effectifs.

a) Non, pas automatiquement. Avec 60 sujets par groupe, la distribution d'échantillonnage de la moyenne est normale par le théorème central limite, quelle que soit la forme de la variable : le test t serait valide. De plus, un test de normalité devient très puissant quand $n$ grandit et détecte alors des écarts sans importance pratique : sur 118 observations, un $p$ de 0,03 peut correspondre à une déviation minuscule. La décision devrait donc se fonder sur un graphique des résidus et sur la question posée, non sur un test de normalité. Cela dit, si la variable est ordinale ou très asymétrique, le choix des rangs reste défendable, pour d'autres raisons que celle invoquée.

b) Le produit $n_{1}n_{2}=60\times 58=3\,480$, et $U$ doit être compris entre 0 et 3 480 : la valeur 812 est donc plausible. La probabilité de supériorité vaut $\dfrac{812}{3\,480}\approx 0{,}233$, ou son complément $\dfrac{2\,668}{3\,480}\approx 0{,}767$ selon le sens retenu : dans environ trois paires sur quatre, un membre du second groupe dépasse un membre du premier. Cette lecture est nettement plus informative que la valeur p.

c) Deux reproches. Mann-Whitney ne teste PAS les moyennes : il teste la tendance d'un groupe à produire des valeurs plus élevées, ce qui se traduit par les médianes seulement si les deux distributions ont la même forme. Et l'auteur, qui a justement écarté le test t parce que la distribution n'était pas normale, revient conclure sur la moyenne, ce qui est contradictoire. Énoncé correct : les valeurs du second groupe tendent à dépasser celles du premier.

d) Il manque les MÉDIANES et les quartiles de chaque groupe, pour que le lecteur sache de quel ordre est l'écart; une mesure d'ampleur, la probabilité de supériorité ou la différence de médianes avec son intervalle; la justification réelle du choix des rangs, nature de la variable plutôt que résultat d'un test de normalité; et le sens du test, bilatéral ou unilatéral. Une valeur p et une statistique $U$ toutes seules ne permettent ni de juger ni de reproduire.

e) « La variable étant une échelle ordinale et sa distribution fortement asymétrique, nous avons comparé les deux groupes par un test de Mann-Whitney bilatéral. Les valeurs du groupe 2 tendent à dépasser celles du groupe 1, $U=812$; $n_{1}=60$; $n_{2}=58$; $p=0{,}021$. Les médianes valent respectivement 4 et 5, avec des écarts interquartiles de 2 dans les deux groupes, et la probabilité qu'une observation du groupe 2 dépasse une observation du groupe 1 vaut 0,77. » Le paragraphe nomme la vraie raison du choix, énonce la conclusion dans les termes que le test autorise, et donne enfin une quantité au lecteur.