Exercices corrigés : la régression multiple (360-301)

a) Dans le modèle 1, le coefficient 1,30 est une pente BRUTE : chaque heure d'étude hebdomadaire supplémentaire est associée à 1,30 point de plus, toutes choses observées telles qu'elles sont. Dans le modèle 2, le coefficient 1,05 est une pente PARTIELLE : chaque heure d'étude supplémentaire est associée à 1,05 point de plus À HEURES DE TRAVAIL RÉMUNÉRÉ CONSTANTES. La formule « à variables constantes » n'est pas une formalité de rédaction, elle est tout le contenu du coefficient.

b) Parce que les deux variables explicatives sont CORRÉLÉES entre elles : les étudiants qui travaillent beaucoup étudient moins. Dans le modèle 1, la pente de 1,30 mélange l'effet propre de l'étude et l'effet, de sens opposé, du travail rémunéré qui l'accompagne. En introduisant $x_{2}$, on retire cette part empruntée, et il reste 1,05. Un quart environ de l'association brute était donc attribuable à autre chose qu'aux heures d'étude elles-mêmes : c'est exactement la logique de l'élaboration vue en tableau croisé, transposée à des variables continues.

c) À heures d'étude constantes, chaque heure de travail rémunéré hebdomadaire supplémentaire est associée à 0,42 point de MOINS. Il faut souligner « à heures d'étude constantes » : le coefficient ne mesure pas l'effet total du travail rémunéré, qui passe en bonne partie par la réduction du temps d'étude, mais ce qui subsiste au-delà, fatigue, absences, désengagement.

d) $\hat{y}=55{,}4+1{,}05\times 12-0{,}42\times 18=55{,}4+12{,}6-7{,}56=60{,}44$. La prédiction porte sur la MOYENNE des étudiants ayant ce profil, et non sur l'individu, dont la note s'écartera de cette valeur d'un résidu.

e) Il passerait à 18 heures d'étude et 12 heures de travail : $\hat{y}=55{,}4+1{,}05\times 18-0{,}42\times 12=55{,}4+18{,}9-5{,}04=69{,}26$, soit 8,82 points de plus. On peut retrouver ce nombre directement : le transfert de 6 heures vaut $6\times \left(1{,}05+0{,}42\right)=6\times 1{,}47=8{,}82$. Attention toutefois : ce calcul est une PRÉDICTION du modèle, pas une promesse causale. Les données étant transversales, rien ne garantit qu'un étudiant qui change de comportement obtienne réellement ce gain.

a) $t=\dfrac{b}{ET}$. Heures d'étude : $\dfrac{1{,}05}{0{,}21}=5{,}00$. Heures de travail : $\dfrac{-0{,}42}{0{,}11}\approx -3{,}818$. Constante : $\dfrac{55{,}40}{3{,}12}\approx 17{,}76$. Ce recalcul prend dix secondes et attrape les erreurs de transcription : il faut le faire chaque fois qu'on lit un tableau publié.

b) Chaque ligne teste $H_{0}\ :\ \beta_{j}=0$, c'est-à-dire que la variable $j$ n'apporte rien À VARIABLES RESTANTES CONSTANTES. Le test est bilatéral. Il faut insister sur la clause de constance : une variable peut être fortement liée à $y$ prise seule et parfaitement non significative dans le modèle, simplement parce qu'une autre variable porte déjà la même information.

c) $1{,}05\pm 1{,}976\times 0{,}21=1{,}05\pm 0{,}415$, soit $\left[0{,}635\ ;\ 1{,}465\right]$. L'intervalle exclut zéro, ce qui est cohérent avec $p<0{,}001$, et il indique surtout que l'effet plausible d'une heure d'étude va d'un gain de six dixièmes de point à près d'un point et demi.

d) Différent de zéro : oui, $\left|t\right|=3{,}82$ dépasse largement 1,976. Différent de $-1$ : il faut refaire un test, $t=\dfrac{-0{,}42-\left(-1\right)}{0{,}11}=\dfrac{0{,}58}{0{,}11}\approx 5{,}27$, donc oui également, et de façon très nette. La question mérite d'être posée parce que le tableau ne teste QUE l'hypothèse zéro, alors que la question intéressante est souvent une autre valeur, par exemple un seuil jugé important en pratique.

e) Non. Les deux coefficients s'expriment dans des unités différentes, points par heure d'étude et points par heure de travail, et l'ampleur de leur effet dépend aussi de la DISPERSION de chaque variable : une variable dont les valeurs varient très peu ne peut pas produire beaucoup d'écart, même avec un gros coefficient. Pour comparer, on utilise les coefficients STANDARDISÉS, obtenus en multipliant chaque $b$ par $\dfrac{s_{x_{j}}}{s_{y}}$ : ils s'expriment tous en écarts-types et deviennent comparables entre eux. Le rapport des statistiques $t$, ici 5,00 contre 3,82, est un raccourci acceptable pour dire laquelle est le plus solidement établie, mais il ne mesure pas l'ampleur.

a) Le modèle 1 rend compte de 28 % de la variance des notes, le modèle 2 de 41 %. L'ajout des heures de travail rémunéré explique donc 13 points de variance de plus. Autrement dit, la connaissance des deux variables réduit de 41 % la somme des carrés des écarts par rapport à une prédiction par la seule moyenne. Il reste 59 % de la variation des notes que le modèle n'explique pas, ce qui est la situation ordinaire en sciences humaines.

b) $R_{aj}^{2}=1-\left(1-0{,}41\right)\dfrac{149}{147}=1-0{,}59\times 1{,}013605=1-0{,}598027\approx 0{,}402$. La correction coûte huit millièmes : elle est légère parce que 150 observations pour 2 variables laissent beaucoup de degrés de liberté.

c) Avec $k=7$ : $R_{aj}^{2}=1-\left(1-0{,}425\right)\dfrac{149}{142}=1-0{,}575\times 1{,}049296=1-0{,}603345\approx 0{,}397$. Le $R^{2}$ brut a MONTÉ, de 0,410 à 0,425, et le $R^{2}$ ajusté a BAISSÉ, de 0,402 à 0,397. C'est le signal exact qu'il faut savoir lire : les cinq variables ajoutées ne rapportent pas plus que ce que coûtent les degrés de liberté consommés, donc elles n'apportent rien. Le modèle à deux variables est préférable.

d) Parce que la méthode des moindres carrés MINIMISE la somme des carrés des résidus sur l'ensemble des coefficients possibles. Ajouter une variable élargit l'ensemble des modèles disponibles : dans le pire des cas, le logiciel lui donnera un coefficient nul et retrouvera exactement le modèle précédent. Le minimum ne peut donc que baisser ou rester égal, et le $R^{2}$ que monter ou rester égal. En pratique, avec des données réelles, une variable aléatoire fait toujours gagner un peu, et avec $n$ variables pour $n$ observations on atteint $R^{2}=1$ sans avoir rien appris.

e) Dans un contexte de PRÉDICTION individuelle, 0,41 est faible : il reste un écart type résiduel considérable, et la note d'un étudiant donné restera très imparfaitement prédite. Dans un contexte d'EXPLICATION en sciences humaines, où le comportement dépend de dizaines de facteurs non mesurés, expliquer 41 % de la variance des notes avec deux variables administratives est au contraire un très bon résultat. Le même nombre serait catastrophique en physique et remarquable en sociologie : un $R^{2}$ ne se juge jamais dans l'absolu, mais contre ce que la littérature du domaine obtient habituellement.

a) À heures d'étude constantes, un étudiant qui occupe un emploi obtient en moyenne 2,9 points de MOINS qu'un étudiant sans emploi. Le coefficient d'une indicatrice n'est pas une pente mais un DÉCALAGE : il déplace toute la droite vers le bas ou vers le haut, sans en changer l'inclinaison.

b) Sans emploi, $e=0$ : $\hat{y}=57{,}1+1{,}02x_{1}$. Avec emploi, $e=1$ : $\hat{y}=57{,}1-2{,}9+1{,}02x_{1}=54{,}2+1{,}02x_{1}$. Deux droites PARALLÈLES, séparées verticalement de 2,9 points. Le parallélisme est une hypothèse du modèle, pas un fait observé : le lever exige un terme d'interaction.

c) Il faut $3-1=2$ indicatrices. Avec trois indicatrices, leur somme vaudrait 1 pour tout le monde, donc elles seraient parfaitement redondantes avec la constante, et le système n'aurait plus de solution unique : c'est le piège dit de la VARIABLE INDICATRICE, ou colinéarité parfaite. La modalité laissée de côté devient la RÉFÉRENCE, et tous les coefficients se lisent par rapport à elle.

d) Le troisième programme, référence, sert de zéro. Le premier est à $+3{,}4$ points de la référence, le second à $-1{,}8$. Classement décroissant : programme 1, puis programme 3, puis programme 2, avec 5,2 points entre les deux extrêmes. Attention : le tableau teste la différence de chaque programme À LA RÉFÉRENCE, et non les programmes entre eux; conclure que 1 diffère significativement de 2 exige un test supplémentaire, ou de changer de référence et de relancer.

e) On imposerait au modèle que passer du programme 1 au programme 2 produise exactement le même effet que passer du 2 au 3, puisqu'un coefficient unique multiplie le code. Or ces codes sont des étiquettes NOMINALES dont l'ordre est arbitraire : permuter deux programmes changerait complètement le résultat. Le modèle serait donc à la fois contraint sans raison et dépendant d'un choix de codage sans signification. C'est l'erreur la plus fréquente des débutants, et le logiciel ne proteste jamais.

a) Le résidu est l'écart entre la valeur observée et la valeur prédite : $e_{i}=y_{i}-\hat{y}_{i}$. Ici $67-60{,}44=6{,}56$ points : le modèle sous-estime cet étudiant de 6,56 points, autrement dit il réussit mieux que ne le laissent prévoir ses heures d'étude et de travail.

b) Premièrement, leur SOMME est nulle, donc leur moyenne aussi : c'est une conséquence directe de la présence d'une constante dans le modèle. Deuxièmement, ils sont NON CORRÉLÉS avec chacune des variables explicatives et avec les valeurs prédites : toute l'information linéaire disponible dans ces variables a été utilisée. Ces deux propriétés sont automatiques et ne prouvent donc rien sur la qualité du modèle; ce qu'on examine, c'est la FORME du nuage.

c) C'est l'HÉTÉROSCÉDASTICITÉ : la variance des résidus croît avec la valeur prédite. Elle ne biaise PAS les coefficients, qui restent des estimations correctes, mais elle fausse leurs ERREURS TYPES, donc les statistiques $t$, les valeurs p et les intervalles de confiance, généralement dans le sens d'une confiance excessive. On y remédie par des erreurs types robustes, dites de White, ou par une transformation de la variable dépendante, souvent le logarithme quand la variable est un montant.

d) Trois vérifications avant toute décision. D'abord, chercher une ERREUR DE SAISIE : une note de 97 tapée 79, un doublon, une unité différente. Ensuite, mesurer l'INFLUENCE réelle de l'observation en refaisant la régression sans elle : si les coefficients bougent à peine, le point est aberrant sans être influent, et on le garde. Enfin, examiner le CAS : un étudiant reprenant le cours, un athlète en compétition, un profil que le modèle n'était pas censé couvrir. On ne supprime jamais une observation parce qu'elle dérange, et toute suppression se justifie et se déclare dans le rapport.

e) Un nuage en U signale une NON-LINÉARITÉ : la relation entre les variables n'est pas une droite, et le modèle sous-estime aux deux extrémités tout en surestimant au milieu, ou l'inverse. C'est fréquent avec les heures d'étude, dont le rendement décroît : les dix premières heures rapportent beaucoup, les dix suivantes moins. On y remédie en ajoutant un terme quadratique $x_{1}^{2}$, ou en transformant la variable par un logarithme, ou en la découpant en classes avec des indicatrices. Une régression linéaire sur une relation courbe donne des coefficients parfaitement calculés et systématiquement faux à chaque extrémité du domaine.

a) Le paradoxe est apparent seulement. Les deux variables portent presque la même information : le modèle peut donc attribuer l'essentiel de l'effet à l'une, à l'autre, ou le répartir de mille façons, sans que la qualité de l'ajustement en souffre. Le $R^{2}$, qui mesure l'ajustement GLOBAL, reste donc excellent. Mais l'erreur type de CHAQUE coefficient explose, puisque la donnée ne permet pas de trancher entre les répartitions possibles, et chaque $t$ s'effondre. Le signe caractéristique est donc là : un modèle globalement très significatif dont aucun coefficient ne l'est individuellement.

b) $VIF=\dfrac{1}{1-0{,}85}=\dfrac{1}{0{,}15}\approx 6{,}667$. La variance du coefficient est donc 6,67 fois plus grande qu'elle ne le serait si la variable était indépendante des autres.

c) L'erreur type est la racine carrée de la variance, donc elle est multipliée par $\sqrt{6{,}667}\approx 2{,}582$. Un coefficient qui aurait eu une erreur type de 0,21 en a maintenant une de 0,54, et sa statistique $t$ est divisée par 2,58 : elle passerait de 5,00 à 1,94, sous le seuil.

d) Les seuils usuels sont 5 et 10 : un $VIF$ supérieur à 5 signale un problème sérieux, au-delà de 10 la situation est généralement jugée inacceptable. Trois remèdes existent. RETIRER l'une des deux variables, ce qui est légitime quand elles mesurent le même concept, ici le temps consacré à l'étude. Les COMBINER en un indice unique, moyenne ou score. Ou AUGMENTER l'échantillon, ce qui réduit toutes les erreurs types et peut suffire quand la colinéarité est modérée. Ce qu'il ne faut pas faire est de conclure à l'absence d'effet parce que les coefficients ne sont pas significatifs.

e) Non, et c'est un point souvent mal compris. Les prédictions et le $R^{2}$ restent parfaitement valides : le modèle prédit aussi bien avec des variables colinéaires. Ce qui est perdu, c'est l'INTERPRÉTATION des coefficients pris séparément, donc la capacité de dire quelle variable fait quoi. Si l'objectif est de prédire une note, la multicolinéarité est sans conséquence; si l'objectif est de savoir si c'est le temps d'étude ou la présence à la bibliothèque qui compte, elle rend la question insoluble avec ces données.

a) Sans emploi, $e=0$ : $\hat{y}=54{,}8+1{,}30x_{1}$. Avec emploi, $e=1$ : $\hat{y}=54{,}8+1{,}30x_{1}-3{,}0-0{,}80x_{1}=51{,}8+0{,}50x_{1}$. Deux droites qui n'ont ni la même ordonnée à l'origine, ni la même PENTE : c'est exactement ce que l'interaction permet.

b) Le coefficient $-0{,}80$ est la DIFFÉRENCE DE PENTES entre les deux groupes. Chez les étudiants sans emploi, une heure d'étude supplémentaire rapporte 1,30 point; chez ceux qui travaillent, elle ne rapporte que $1{,}30-0{,}80=0{,}50$ point. Le rendement de l'heure d'étude est donc plus de deux fois plus faible pour un étudiant qui travaille, ce qui s'interprète volontiers par la fatigue et la fragmentation du temps.

c) À 10 heures : sans emploi, $54{,}8+13{,}0=67{,}8$; avec emploi, $51{,}8+5{,}0=56{,}8$. Écart : 11,0 points. À 20 heures : sans emploi, $54{,}8+26{,}0=80{,}8$; avec emploi, $51{,}8+10{,}0=61{,}8$. Écart : 19,0 points. L'écart entre les deux groupes n'est donc pas constant, il CROÎT avec les heures d'étude, et c'est la signature d'une interaction.

d) L'écart vaut $\left(54{,}8+1{,}30x_{1}\right)-\left(51{,}8+0{,}50x_{1}\right)=3{,}0+0{,}80x_{1}$. Il dépasse 10 points quand $0{,}80x_{1}>7{,}0$, soit $x_{1}>8{,}75$ heures. Au-delà de neuf heures d'étude hebdomadaires, la différence entre les deux groupes dépasse donc dix points, ce qui est considérable.

e) Il change de portée. En l'absence d'interaction, $-3{,}0$ serait l'écart entre les deux groupes, valable partout. Avec l'interaction, il ne vaut plus que pour $x_{1}=0$, c'est-à-dire pour un étudiant qui n'étudierait pas du tout : c'est un EFFET SIMPLE, conditionnel à une valeur particulière de l'autre variable, et souvent à une valeur qui n'a aucun sens pratique. C'est la raison pour laquelle on CENTRE habituellement les variables continues avant de construire une interaction : en soustrayant la moyenne à $x_{1}$, le coefficient de $e$ redevient l'écart entre groupes pour un étudiant de temps d'étude MOYEN, ce qui est interprétable.

1) FAUX sur deux points. D'abord, le coefficient est une ASSOCIATION et non un effet : les données sont transversales, personne n'a été assigné à étudier une heure de plus, et l'étudiant qui étudie davantage diffère peut-être par sa motivation. Ensuite, il manque la clause de constance. Énoncé correct : à heures de travail rémunéré constantes, une heure d'étude hebdomadaire de plus est associée à 1,05 point de plus en moyenne.

2) FAUX. Le $R^{2}$ ne peut que monter quand on ajoute des variables, même du bruit pur : sa hausse ne prouve rien. Le $R^{2}$ ajusté, lui, passe de 0,402 à 0,397, donc il BAISSE : les cinq variables coûtent plus de degrés de liberté qu'elles ne rapportent d'explication. Énoncé correct : l'ajout dégrade le modèle, et le modèle à deux variables est préférable.

3) FAUX. Les deux coefficients ne sont pas dans la même unité, points par heure d'étude et points par heure de travail, et l'ampleur de leur contribution dépend aussi de la dispersion de chaque variable. Énoncé correct : pour comparer l'importance relative, il faut les coefficients STANDARDISÉS, obtenus en multipliant chaque $b$ par $\dfrac{s_{x_{j}}}{s_{y}}$.

4) FAUX, il n'y a aucune contradiction : c'est la signature classique de la MULTICOLINÉARITÉ. Les variables explicatives se ressemblent trop pour que le modèle attribue à chacune une part distincte, si bien que les erreurs types de tous les coefficients gonflent alors que l'ajustement global reste bon. Énoncé correct : le modèle prédit bien et ne permet pas d'attribuer l'effet à une variable plutôt qu'à une autre; il faut examiner les facteurs d'inflation de la variance et retirer ou combiner les variables redondantes.

5) FAUX. Avec trois indicatrices, leur somme vaut 1 pour chaque observation, donc elles reproduisent exactement la constante : le système devient indéterminé. Énoncé correct : il faut $k-1=2$ indicatrices, la modalité omise servant de RÉFÉRENCE à laquelle les deux coefficients se comparent.

a) $t$ de la moyenne du secondaire : $\dfrac{0{,}38}{0{,}061}\approx 6{,}230$. Heures d'étude : $\dfrac{0{,}84}{0{,}190}\approx 4{,}421$. Heures de travail : $\dfrac{-0{,}31}{0{,}092}\approx -3{,}370$. Indicatrice : $\dfrac{-1{,}70}{1{,}45}\approx -1{,}172$. Les trois premières dépassent 1,971 en valeur absolue et sont donc significatives; la quatrième ne l'est pas.

b) Avec $n=220$ et $k=4$ : $R_{aj}^{2}=1-\left(1-0{,}52\right)\dfrac{219}{215}=1-0{,}48\times 1{,}018605=1-0{,}488930\approx 0{,}511$. La correction coûte moins d'un point : avec 220 observations pour 4 variables, elle est presque indolore.

c) $\hat{y}=41{,}2+0{,}38\times 78+0{,}84\times 14-0{,}31\times 12-1{,}70\times 1=41{,}2+29{,}64+11{,}76-3{,}72-1{,}70=77{,}18$. La prédiction porte sur la moyenne des étudiants ayant ce profil; l'écart type résiduel, qu'il faudrait connaître pour donner un intervalle de prédiction individuel, n'est pas fourni.

d) On ne peut PAS conclure que le statut de premier de famille aux études est sans lien avec la note. On conclut que les données ne permettent pas de le distinguer de zéro À VARIABLES CONSTANTES. Intervalle : $-1{,}70\pm 1{,}971\times 1{,}45=-1{,}70\pm 2{,}858$, soit $\left[-4{,}558\ ;\ 1{,}158\right]$. L'intervalle laisse ouverte une pénalité de plus de quatre points et demi, ce qui est loin d'être négligeable : le résultat est imprécis, pas nul. Il faut aussi noter que le coefficient est contrôlé pour la moyenne du secondaire, laquelle est elle-même déjà affectée par l'origine sociale : une bonne part de l'écart brut a donc été absorbée en amont.

e) « La régression de la moyenne de session sur quatre variables explique 52 % de la variance, $R_{aj}^{2}=0{,}51$, sur 220 étudiants. À variables restantes constantes, chaque point de moyenne au secondaire est associé à 0,38 point de plus, $t=6{,}23$, p inférieur à 0,001; chaque heure d'étude hebdomadaire à 0,84 point de plus, $t=4{,}42$, p inférieur à 0,001; chaque heure de travail rémunéré à 0,31 point de moins, $t=-3{,}37$, p inférieur à 0,01. Le fait d'être premier de famille aux études n'est pas associé à une différence significative une fois ces variables contrôlées, $b=-1{,}70$; intervalle de confiance de $-4{,}56$ à $1{,}16$, ce qui n'exclut pas une pénalité appréciable. Les données étant transversales, ces coefficients décrivent des associations et non des effets causaux. »

a) Chaque dollar de revenu annuel supplémentaire est associé à 0,0004 point de plus, à variables restantes constantes. Ramené à une unité lisible, 10 000 dollars de revenu annuel de plus correspondent à $10\,000\times 0{,}0004=4{,}0$ points de moyenne. L'écart entre un ménage à 40 000 dollars et un ménage à 100 000 dollars vaut donc 24 points, ce qui est énorme. La règle de rédaction est de toujours rapporter un coefficient à une variation RÉALISTE de la variable, jamais à son unité brute quand celle-ci est un dollar ou une seconde.

b) Non, aucunement. L'ampleur d'un coefficient dépend entièrement de l'unité choisie : exprimer le revenu en milliers de dollars donnerait $b=0{,}4$, en dizaines de milliers $b=4$, sans que rien ne change. Un coefficient ne se juge donc jamais à sa taille apparente, mais rapporté à l'écart type de la variable, ou converti en une variation interprétable comme à la question précédente.

c) Premier reproche, l'absence de rejet lue comme une preuve d'absence : avec $p=0{,}31$, les données sont simplement compatibles avec zéro, et l'intervalle de confiance, non publié, contient probablement des valeurs appréciables. Second reproche, l'oubli de la clause de constance : le nombre de livres n'a pas d'effet PROPRE une fois le revenu et la scolarité des parents contrôlés, ce qui est très différent de n'avoir aucun lien avec la réussite. Pris seul, il en aurait presque certainement un.

d) Ces trois variables sont fortement corrélées entre elles : revenu, scolarité des parents et nombre de livres mesurent en grande partie le même capital socioéconomique. On est donc en situation de MULTICOLINÉARITÉ, ce qui gonfle les erreurs types et rend arbitraire la répartition de l'effet entre les trois. Le fait que le revenu ressorte et pas les livres n'a probablement aucune signification substantielle : une autre spécification, ou un autre échantillon, pourrait inverser les rôles. C'est précisément le cas où il faudrait publier les facteurs d'inflation de la variance et, sans doute, construire un indice unique.

e) « Chaque tranche de 10 000 dollars de revenu annuel du ménage est associée à 4,0 points de moyenne supplémentaires, à scolarité des parents et nombre de livres constants, $b=0{,}0004$; $p=0{,}004$. Le nombre de livres à la maison n'est pas associé à une différence significative une fois ces variables contrôlées, $b=0{,}011$; $p=0{,}31$, ce qui ne signifie pas qu'il soit sans lien avec la réussite : les trois variables mesurant largement le même capital socioéconomique, le modèle ne peut pas leur attribuer des parts distinctes, et le devis transversal interdit toute interprétation causale. » Deux corrections décisives : le coefficient est ramené à une variation lisible, et l'absence de significativité est présentée comme une indétermination du modèle, non comme un résultat.