Examen blanc corrigé : méthodes quantitatives avancées (360-301)

$H_{0}\ :\ \mu_{1}=\mu_{2}$; $H_{1}\ :\ \mu_{1}\neq \mu_{2}$. Variance combinée : $s_{p}^{2}=\dfrac{31\times 7{,}4^{2}+29\times 8{,}9^{2}}{60}=\dfrac{31\times 54{,}76+29\times 79{,}21}{60}=\dfrac{1\,697{,}56+2\,297{,}09}{60}=\dfrac{3\,994{,}65}{60}\approx 66{,}578$, donc $s_{p}\approx 8{,}160$.

$ET=8{,}160\sqrt{\dfrac{1}{32}+\dfrac{1}{30}}=8{,}160\sqrt{0{,}03125+0{,}033333}=8{,}160\times 0{,}254131\approx 2{,}0738$. $t=\dfrac{76{,}8-72{,}1}{2{,}0738}=\dfrac{4{,}7}{2{,}0738}\approx 2{,}267$, avec $32+30-2=60$ degrés de liberté.

$2{,}267>2{,}000$ : on REJETTE l'hypothèse nulle. La différence de 4,7 points est significative au seuil de 5 %; la valeur p vaut environ 0,027.

$d=\dfrac{4{,}7}{8{,}160}\approx 0{,}576$, effet MOYEN. Intervalle de confiance : $4{,}7\pm 2{,}000\times 2{,}0738=4{,}7\pm 4{,}148$, soit $\left[0{,}552\ ;\ 8{,}848\right]$ points. L'intervalle exclut zéro, ce qui est cohérent avec le rejet, et il montre que la vraie différence pourrait n'être que d'un demi-point comme atteindre près de neuf points : le résultat est établi et imprécis.

$F=\dfrac{8{,}9^{2}}{7{,}4^{2}}=\dfrac{79{,}21}{54{,}76}\approx 1{,}447$. Le rapport reste très inférieur à 4, seuil de tolérance usuel avec des effectifs voisins : l'homogénéité est acceptable et le test t classique est utilisable. Avec des variances plus déséquilibrées, on serait passé à la correction de Welch.

$ET=\dfrac{s_{d}}{\sqrt{n}}=\dfrac{3{,}6}{\sqrt{12}}=\dfrac{3{,}6}{3{,}4641}\approx 1{,}0392$. $t=\dfrac{2{,}4}{1{,}0392}\approx 2{,}309$, avec $n-1=11$ degrés de liberté.

$2{,}309>2{,}201$ : on REJETTE. La progression moyenne de 2,4 points est significative au seuil de 5 %, la valeur p valant environ 0,041. Le résultat est donc établi, mais de justesse.

$d=\dfrac{\overline{d}}{s_{d}}=\dfrac{2{,}4}{3{,}6}\approx 0{,}667$, ce qui correspond à un effet MOYEN à GRAND selon les repères usuels. Autrement dit, la progression typique vaut les deux tiers de la dispersion des progressions individuelles, ce qui est appréciable.

$n\approx \dfrac{\left(1{,}96+0{,}84\right)^{2}}{d^{2}}=\dfrac{7{,}84}{0{,}4449}\approx 17{,}6$, soit 18 paires. Avec 12 paires, l'étude était donc légèrement sous-dimensionnée, et le rejet obtenu de justesse était prévisible.

Du point de vue du devis, rien n'est démontré quant à l'atelier. Un avant-après sans groupe témoin laisse ouvertes la maturation, le testage, l'histoire et, si les participants ont été choisis sur un mauvais résultat initial, la régression vers la moyenne. Le test établit qu'il y a eu progression; il n'établit pas qu'elle vient de l'atelier. Il faudrait une expérience à liste d'attente, où l'on comparerait les progressions individuelles des tirés au sort à celles des non-tirés.

Degrés de liberté : inter, $k-1=4-1=3$; intra, $N-k=40-4=36$; total, $N-1=39$. Somme des carrés totale : $486{,}0+2\,340{,}0=2\,826{,}0$. On vérifie que $3+36=39$.

$CM_{inter}=\dfrac{486{,}0}{3}=162{,}0$ et $CM_{intra}=\dfrac{2\,340{,}0}{36}=65{,}0$. $F=\dfrac{162{,}0}{65{,}0}\approx 2{,}492$.

$2{,}492<2{,}87$ : on NE REJETTE PAS. Les données ne permettent pas de conclure à une différence entre les quatre méthodes au seuil de 5 %. La valeur p vaut environ 0,076, donc le résultat est proche du seuil sans l'atteindre.

$\eta^{2}=\dfrac{486{,}0}{2\,826{,}0}\approx 0{,}172$. La méthode d'encadrement rend donc compte de 17,2 % de la variance des résultats, ce qui dépasse largement le repère de 0,14 pour un GRAND effet. On a donc un effet substantiel que le test ne détecte pas : c'est une étude sous-puissante, et rapporter simplement « aucune différence significative » serait ici franchement trompeur.

Il faudrait davantage de sujets. Pour un effet de cette taille, exprimé en $f=\sqrt{\dfrac{\eta^{2}}{1-\eta^{2}}}=\sqrt{\dfrac{0{,}172}{0{,}828}}\approx 0{,}456$, une puissance de 80 % avec quatre groupes exige environ 15 à 16 sujets par groupe, contre 10 ici. Autrement dit, une cinquantaine d'étudiants de plus suffiraient probablement à trancher, et c'est exactement ce que la conclusion du rapport devrait recommander plutôt que de conclure à l'équivalence des méthodes.

$\dfrac{4\times 3}{2}=6$ comparaisons. Sans correction, le risque de conclure à tort au moins une fois vaut $1-0{,}95^{6}\approx 0{,}2649$, soit près de 27 % au lieu de 5 %.

$ET=\sqrt{CM_{intra}\left(\dfrac{1}{10}+\dfrac{1}{10}\right)}=\sqrt{65{,}0\times 0{,}2}=\sqrt{13{,}0}\approx 3{,}6056$. L'erreur type est la même pour les six paires puisque les effectifs sont égaux.

Écart minimal détectable : $2{,}79\times 3{,}6056\approx 10{,}06$ points. Toute différence de moyennes inférieure à 10,1 points sera déclarée non significative après correction.

Écarts observés : $C-A=74{,}8-68{,}2=6{,}6$; $D-A=4{,}7$; $B-A=3{,}3$; $C-B=3{,}3$; $D-B=1{,}4$; $C-D=1{,}9$. AUCUNE paire n'atteint 10,1 points. Le plus grand écart, 6,6 points entre C et A, reste bien en deçà du seuil.

« Le test global ayant rejeté l'hypothèse d'égalité des moyennes, six comparaisons deux à deux ont été menées avec une correction de Bonferroni. Aucune paire n'atteint le seuil : l'écart minimal détectable est de 10,1 points, et le plus grand écart observé, entre les méthodes C et A, vaut 6,6 points. L'étude établit donc qu'au moins une méthode se distingue, sans pouvoir dire laquelle, ce qui est une conséquence directe de l'effectif de dix étudiants par groupe. » Cette situation, où l'omnibus rejette et où aucune comparaison ne suit, est fréquente et doit être annoncée telle quelle plutôt que masquée.

$t_{1}=\dfrac{0{,}42}{0{,}058}\approx 7{,}241$; $t_{2}=\dfrac{0{,}91}{0{,}240}\approx 3{,}792$; $t_{3}=\dfrac{-0{,}28}{0{,}090}\approx -3{,}111$. Les trois dépassent 1,974 en valeur absolue : les trois coefficients sont significativement différents de zéro au seuil de 5 %.

« À moyenne du secondaire et heures de travail rémunéré constantes, chaque heure d'étude hebdomadaire supplémentaire est associée à 0,91 point de plus à la moyenne de session. » La clause de constance et le mot « associée » sont tous deux obligatoires : les données étant transversales, aucun lien causal n'est établi.

$R_{aj}^{2}=1-\left(1-0{,}47\right)\dfrac{179}{176}=1-0{,}53\times 1{,}017045=1-0{,}539034\approx 0{,}461$. Avec 180 observations pour trois variables, la correction ne coûte qu'un point.

$\hat{y}=38{,}5+0{,}42\times 80+0{,}91\times 10-0{,}28\times 15=38{,}5+33{,}6+9{,}1-4{,}2=77{,}0$. La prédiction porte sur la moyenne des étudiants de ce profil, non sur l'individu.

$-0{,}28\pm 1{,}974\times 0{,}090=-0{,}28\pm 0{,}17766$, soit $\left[-0{,}458\ ;\ -0{,}102\right]$. L'intervalle exclut zéro, en cohérence avec le test, et il indique que dix heures de travail hebdomadaire coûtent entre 1,0 et 4,6 points de moyenne, à variables restantes constantes : une fourchette large mais entièrement du même côté.

Le nuage dessine un U : les résidus sont positifs aux deux extrémités et négatifs au milieu. Le défaut est une NON-LINÉARITÉ : la vraie relation est courbe, et la droite ajustée sous-estime systématiquement aux extrêmes tout en surestimant au centre. Les coefficients sont alors parfaitement calculés et biaisés sur tout le domaine.

Premier remède, ajouter un TERME QUADRATIQUE $x^{2}$ au modèle, ce qui permet à l'ajustement de se courber. Second remède, TRANSFORMER la variable, par un logarithme si la relation présente un rendement décroissant, ou par une racine. Un troisième remède existe : découper la variable en classes et les introduire par des indicatrices, ce qui n'impose aucune forme mais consomme des degrés de liberté.

$VIF=\dfrac{1}{1-0{,}78}=\dfrac{1}{0{,}22}\approx 4{,}545$. L'erreur type est multipliée par $\sqrt{4{,}545}\approx 2{,}132$ : celle de $x_{1}$ passerait de 0,058 à 0,1236, et sa statistique $t$ de 7,24 à 3,40. Le coefficient resterait significatif, mais on est déjà proche du seuil d'alerte de 5 pour le facteur d'inflation.

Il faut $4-1=3$ indicatrices, la quatrième modalité servant de RÉFÉRENCE. Chaque coefficient se lit comme l'écart moyen entre son programme et le programme de référence, à variables restantes constantes. Comparer deux programmes autres que la référence exige un test supplémentaire, ou de relancer le modèle avec une autre référence.

Non. $R_{aj}^{2}$ passe de $1-0{,}53\times \dfrac{179}{176}\approx 0{,}461$ à $1-0{,}514\times \dfrac{179}{171}\approx 0{,}462$, soit un gain d'un millième pour cinq variables. Autrement dit, les cinq variables ne rapportent pratiquement rien de plus que ce que coûtent les degrés de liberté consommés, et elles compliquent l'interprétation tout en aggravant le risque de colinéarité. Le modèle à trois variables reste préférable.

Trois raisons se cumulent. La variable est ORDINALE, une échelle de 1 à 10 dont les écarts ne sont pas garantis comparables. Les effectifs sont très petits, cinq par groupe, ce qui interdit d'invoquer le théorème central limite. Et une échelle bornée produit une asymétrie mécanique dès que les réponses se tassent vers une extrémité.

$62+40+18=120$, qui doit valoir $\dfrac{N(N+1)}{2}=\dfrac{15\times 16}{2}=120$. Le contrôle passe : aucun rang n'a été oublié ni compté deux fois.

$\sum \dfrac{R_{j}^{2}}{n_{j}}=\dfrac{62^{2}+40^{2}+18^{2}}{5}=\dfrac{3\,844+1\,600+324}{5}=\dfrac{5\,768}{5}=1\,153{,}6$. Puis $H=\dfrac{12}{15\times 16}\times 1\,153{,}6-3\times 16=0{,}05\times 1\,153{,}6-48=57{,}68-48=9{,}68$.

$9{,}68>5{,}991$ : on REJETTE. Au moins un des trois groupes se distingue des autres, avec une valeur p d'environ 0,008. Une réserve d'usage : avec cinq observations par groupe, l'approximation par le khi-deux est à la limite de son domaine, et un logiciel emploierait la distribution exacte de $H$.

La suite logique est une série de comparaisons deux à deux par des tests de Mann-Whitney, avec un seuil corrigé, $\dfrac{0{,}05}{3}\approx 0{,}0167$ pour trois comparaisons. La difficulté à prévoir est que sur cinq observations par groupe, le plus petit $U$ possible est 0 et la valeur p minimale atteignable est d'environ 0,008 : seules les séparations parfaites, où tout un groupe dépasse entièrement l'autre, franchiront le seuil corrigé. Il est donc probable qu'aucune comparaison ne soit significative alors que le test global l'était, situation qu'il faut annoncer explicitement.

$1{,}12+0{,}85+1{,}20+0{,}83=4{,}00$ : la somme est exacte, aucune renormalisation n'est nécessaire. L'indice de 0,85 signifie que le deuxième trimestre se situe structurellement 15 % SOUS le niveau moyen de son année, année après année.

$\overline{x}=2$, $\overline{y}=\dfrac{620+668+710}{3}=\dfrac{1\,998}{3}=666$. Covariance : $\left(-1\right)\left(620-666\right)+\left(1\right)\left(710-666\right)=46+44=90$. Variance des $x$ : 2. Pente : $\dfrac{90}{2}=45$. Ordonnée : $666-45\times 2=576$. Droite : $\hat{y}=576+45x$.

Année 4 : $576+45\times 4=576+180=756$ visites par trimestre en moyenne.

$756\times 1{,}12=846{,}7$; $756\times 0{,}85=642{,}6$; $756\times 1{,}20=907{,}2$; $756\times 0{,}83=627{,}5$. Somme : $3\,024{,}0$, et $4\times 756=3\,024$. Le contrôle passe exactement, ce qui confirme à la fois les indices et la tendance.

Variation BRUTE : $\dfrac{852-568}{568}=0{,}5$, soit 50 %. Valeurs désaisonnalisées : $\dfrac{568}{0{,}85}\approx 668{,}2$ et $\dfrac{852}{1{,}20}=710{,}0$. Variation désaisonnalisée : $\dfrac{710{,}0-668{,}2}{668{,}2}\approx 0{,}0625$, soit 6,25 %. Le mouvement réel est donc huit fois plus petit que le mouvement apparent : les 50 % annoncés décrivent le calendrier, les 6,3 % décrivent le service.

FAUX. Ne pas rejeter signifie que les données sont compatibles avec l'égalité, pas qu'elle est démontrée. Ici $\eta^{2}=0{,}172$ correspond à un grand effet que dix étudiants par groupe ne suffisent pas à détecter. Énoncé correct : l'étude ne permet pas de conclure; la part de variance associée à la méthode est pourtant substantielle, et un effectif d'environ 16 par groupe serait nécessaire pour trancher.

FAUX. Les deux mesures portent sur les mêmes personnes : elles ne sont pas indépendantes. Il faut travailler sur les douze DIFFÉRENCES individuelles, avec $n-1=11$ degrés de liberté et non 22. Traiter les mesures comme indépendantes réinjecte la variabilité entre individus dans le dénominateur et fait chuter la statistique. Énoncé correct : test t pour échantillons appariés, $t=2{,}31$ à 11 degrés de liberté.

FAUX. Les deux coefficients s'expriment dans des unités différentes, points par heure d'étude et points par heure de travail, et leur contribution dépend aussi de la dispersion de chaque variable. Énoncé correct : pour comparer l'importance relative, il faut les coefficients STANDARDISÉS, ou à défaut comparer les statistiques $t$, ici 3,79 contre $-3{,}11$, qui mesurent la solidité et non l'ampleur.

FAUX. Le deuxième trimestre a un indice saisonnier de 0,85 et le troisième de 1,20 : la hausse est en grande partie un effet de calendrier. Après désaisonnalisation, la progression réelle est de 6,3 %. Énoncé correct : à variations saisonnières corrigées, la fréquentation progresse de 6,3 % par rapport au trimestre précédent.

FAUX, la règle est inversée pour $U$. On rejette quand la statistique est INFÉRIEURE OU ÉGALE à la valeur critique, car un petit $U$ signifie qu'un groupe monopolise les rangs élevés. Avec $U=3$ contre 6, on REJETTE. Énoncé correct : la différence entre les deux groupes est significative au seuil de 5 %.

Non. Le devis est un avant-après SANS GROUPE TÉMOIN, le plus faible qui existe. Trois explications concurrentes : la MATURATION, les étudiants progressent d'eux-mêmes au fil de la session; l'HISTOIRE, un enseignant, un examen ou un calendrier différent au second temps de mesure; le TESTAGE, la simple familiarisation avec le format de l'épreuve. Le test t établit qu'il y a eu progression, il n'établit rien sur sa cause.

La RÉGRESSION VERS LA MOYENNE. Sélectionner sur un échec garantit qu'une part du mauvais résultat initial tenait à des circonstances passagères, et la mesure suivante remonte mécaniquement. On la chiffre par $z_{2}=r\,z_{1}$ : si les sélectionnés étaient à 1,5 écart-type sous la moyenne et que la corrélation entre les deux examens vaut 0,6, la prédiction sans aucune intervention est $-0{,}9$ écart-type, soit une remontée de $-0{,}9-\left(-1{,}5\right)=0{,}6$ écart-type. Attention au piège : la remontée est la DIFFÉRENCE des deux cotes Z, et non la valeur $0{,}9$ de la seconde. Avec un écart-type de 10 points, cela vaut 6 points de remontée attendue, contre 6,8 points observés : le programme n'ajoute donc que huit dixièmes de point à ce que l'inaction aurait produit.

Deux reproches. D'abord, avec $p=0{,}076$, le test NE REJETTE PAS au seuil usuel : le rapport présente comme une démonstration un résultat qui n'atteint pas le seuil qu'il s'est lui-même donné. Ensuite, l'analyse de variance comparerait des programmes entre eux et non des EFFETS du traitement : montrer que l'effet varie selon le programme exigerait un terme d'interaction entre le traitement et le programme, dans un devis qui comporte un groupe témoin. Le mot « confirme » est de surcroît le contraire de ce que fait un test, qui ne peut que ne pas réfuter.

L'absence de rejet n'est pas une preuve d'absence. Avec $p=0{,}22$, les données sont simplement compatibles avec zéro, et l'intervalle de confiance, non publié, contient probablement des valeurs appréciables. Il faut ajouter que le coefficient du revenu est PARTIEL : il est contrôlé pour les autres variables du modèle, dont plusieurs, moyenne du secondaire, heures de travail rémunéré, sont elles-mêmes des conséquences du revenu. Une bonne part de l'effet du revenu a donc été absorbée en amont, ce qui rend l'absence de coefficient propre attendue plutôt qu'informative.

« Les participants progressent de 6,8 points en moyenne, $t=3{,}42$; $p=0{,}002$; $n=40$. Le devis étant un avant-après sans groupe témoin, et les participants ayant été sélectionnés sur un échec, cette progression est compatible avec la seule régression vers la moyenne, dont l'ampleur attendue est de l'ordre de 6 points : les données ne permettent donc pas de conclure à un effet du programme. Nous recommandons, pour la prochaine session, une expérience à liste d'attente : parmi les étudiants ayant échoué à la mi-session, la moitié tirée au sort recevrait le programme immédiatement, l'autre à la session suivante, et l'analyse comparerait les progressions individuelles des deux groupes en intention de traiter. Un effectif d'environ 60 étudiants par groupe permettrait de détecter un effet moyen avec 80 % de puissance. » Le paragraphe conserve les faits, nomme la menace, chiffre ce qu'il faudrait, et remplace une recommandation de généralisation par un protocole.