Méthodes quantitatives avancées 360-301 • Sciences humaines au cégep à Montréal

Fiche de révision : la régression multiple

Cette fiche traite le chapitre le plus riche du cours de méthodes quantitatives avancées, celui qu'on retrouve ensuite dans tous les articles d'économie, de sociologie et de psychologie. Elle ne redonne pas l'algèbre, elle donne les huit endroits où une sortie de logiciel juste produit une phrase fausse, et la formulation exacte qui répare chacun.

Elle s'adresse aux étudiants de Sciences humaines du cégep qui suivent le cours 360-301. La série d'exercices corrigés du même chapitre reprend chaque geste, de la lecture d'une sortie jusqu'au diagnostic par les résidus.

Le fil du chapitre

Un coefficient de régression multiple est PARTIEL : il vaut « à variables restantes constantes ». Cette clause n'est pas du décor, elle est la définition du nombre, et la moitié des fautes du chapitre consiste à l'oublier.

Ce chapitre fait partie de Méthodes quantitatives avancées 360-301 : tous les chapitres

Avant ce chapitre

Cette fiche suppose ces notions acquises. Si une méthode ci-dessous reste opaque, c'est presque toujours l'une d'elles qui manque, pas la fiche.

Remonter plus loin : la chaîne complète (7 chapitres) ↓

Le chemin de remédiation, du plus ancien au plus proche. Un élève qui reprend ce chapitre de zéro le reprend dans cet ordre.

  1. 1Concepts, variables et échelles de mesureMéthodes quantitatives (360-300)
  2. 2Échantillonnage et questionnaireMéthodes quantitatives (360-300)
  3. 3Tableaux de distribution et graphiquesMéthodes quantitatives (360-300)
  4. 4Cote Z, rang centile et cote RMéthodes quantitatives (360-300)
  5. 5Tableaux croisés, khi-deux et associationMéthodes quantitatives (360-300)
  6. 6La marge d'erreur d'un sondageMéthodes quantitatives (360-300)
  7. 7Comparer deux groupes : test t et taille d'effet

L'essentiel

Ce que chaque coefficient dit, et ce qu'il ne dit pas

  • Un coefficient de régression multiple est PARTIEL : il donne la variation de yy pour une unité de xjx_{j}, LES AUTRES VARIABLES RESTANT CONSTANTES.
  • La pente brute et la pente partielle diffèrent dès que les variables explicatives sont corrélées entre elles.
  • Chaque ligne d'une sortie teste H0:βj=0H_{0}:\beta_{j}=0 par t=bETt=\dfrac{b}{ET}, avec nk1n-k-1 degrés de liberté. Intervalle : b±tcrit×ETb\pm t_{crit}\times ET.
  • Coefficients STANDARDISÉS : βj=bj×sxjsy\beta_{j}=b_{j}\times \dfrac{s_{x_{j}}}{s_{y}}. Ce sont les seuls comparables entre variables d'unités différentes.

La clause « à variables restantes constantes » doit figurer TEXTUELLEMENT dans toute interprétation : c'est un point de barème à chaque coefficient.

La qualité du modèle, et la tentation d'ajouter

  • R2R^{2} ne peut JAMAIS diminuer quand on ajoute une variable, même totalement inutile : c'est une propriété algébrique, pas un signe de qualité.
  • Raj2=1(1R2)n1nk1R_{aj}^{2}=1-\left(1-R^{2}\right)\dfrac{n-1}{n-k-1} pénalise chaque variable ajoutée. Il peut BAISSER, et c'est cette baisse qui est le signal utile.
  • Une variable dont le coefficient n'est pas significatif fait presque toujours baisser le R2R^{2} ajusté.
  • R2R^{2} mesure l'ajustement du modèle aux données, jamais la justesse de sa spécification ni l'existence d'une cause.
variablesR carréR carré ajusté10,4000,38820,4600,43740,4700,42380,4900,390n = 50 : le R carré monte toujours, l'ajusté non
Le meilleur modèle est celui à deux variables : le R2R^{2} continue de monter au-delà, mais l'ajusté redescend, ce qui dit que les variables suivantes n'apportent que du bruit.

Rapporter le R2R^{2} ajusté à côté du R2R^{2} est attendu dès qu'il y a plus d'une variable explicative.

Les indicatrices, et l'interaction

  • Une variable qualitative à kk modalités demande k1k-1 INDICATRICES, la modalité omise servant de RÉFÉRENCE. Trois indicatrices pour trois modalités rendent le modèle indéterminé.
  • Le coefficient d'une indicatrice est un DÉCALAGE vertical par rapport à la référence, jamais une pente : les droites restent PARALLÈLES.
  • Un terme d'INTERACTION x1×ex_{1}\times e change cela : son coefficient est une DIFFÉRENCE DE PENTES.
  • Avec une interaction dans le modèle, les coefficients simples deviennent conditionnels à la valeur zéro de l'autre variable.
sans interactiondroites parallèlesavec interactionles pentes diffèrentABAB
À gauche, l'indicatrice ne fait que translater la droite; à droite, le terme d'interaction fait diverger les deux pentes, et l'écart entre A et B dépend alors de xx.

Nommer la modalité de référence dans l'interprétation est obligatoire : « 2,42{,}4 points de plus QUE les étudiants de sciences de la nature ».

Les résidus, et ce qu'ils dénoncent

  • ei=yiy^ie_{i}=y_{i}-\hat{y}_{i}. Leur somme est nulle et leur corrélation avec chaque prédicteur aussi : ces deux faits sont AUTOMATIQUES et n'apprennent rien.
  • C'est la FORME du nuage qu'on examine, en portant les résidus contre les valeurs prédites.
  • Nuage en ENTONNOIR : hétéroscédasticité, qui fausse les erreurs types sans biaiser les coefficients.
  • Nuage en U : non-linéarité, à corriger par un terme quadratique ou un logarithme.

VIF=11Rj2VIF=\dfrac{1}{1-R_{j}^{2}} : au-delà de 55, la multicolinéarité gonfle les erreurs types, laisse les prédictions intactes et ruine l'interprétation des coefficients séparés.

Les pièges qui coûtent des points

Les erreurs ci-dessous sont celles que je corrige le plus souvent en séance. Chacune coûte des points sur une copie, même quand le raisonnement est juste.

1. Lire un coefficient partiel comme une pente brute

1 point par coefficient interprété, et le correcteur les compte

Ce qu'il ne faut pas écrire

« b=1,80b=1{,}80 : chaque heure d'étude supplémentaire ajoute 1,81{,}8 point à la note. »

Ce qu'il faut écrire

« À heures de travail rémunéré et programme d'études CONSTANTS, une heure d'étude de plus est associée à 1,81{,}8 point de plus. »

Pourquoi : Sans la clause, la phrase décrit la corrélation brute, qui vaut autre chose dès que les variables explicatives sont corrélées entre elles. Le modèle n'a jamais mesuré cela.

2. Comparer deux coefficients bruts d'unités différentes

1,5 point, et une hiérarchie fausse entre les prédicteurs

Ce qu'il ne faut pas écrire

« 1,801{,}80 contre 0,35-0{,}35 : l'étude pèse cinq fois plus que le travail rémunéré. »

Ce qu'il faut écrire

« Les deux variables n'ont ni la même unité ni la même dispersion. Standardisés, les coefficients valent 0,630{,}63 et 0,26-0{,}26 : l'étude pèse environ 2,42{,}4 fois plus. »

Pourquoi : Un coefficient est une variation de yy par unité de xx. Changer l'unité de xx, des heures aux minutes par exemple, divise le coefficient par soixante sans rien changer au modèle.

3. Ajouter des variables pour faire monter le coefficient de détermination

2 points, et un modèle final surchargé

Ce qu'il ne faut pas écrire

« En ajoutant six variables, le R2R^{2} passe de 0,460{,}46 à 0,490{,}49 : le modèle s'améliore. »

Ce qu'il faut écrire

« Le R2R^{2} ne peut pas baisser, c'est une propriété algébrique. Le R2R^{2} AJUSTÉ, lui, passe de 0,4370{,}437 à 0,3900{,}390 : le modèle s'est dégradé. »

Pourquoi : Chaque variable ajoutée capte un peu de bruit, ce qui améliore toujours l'ajustement sur l'échantillon et jamais la prédiction hors échantillon.

4. Poser autant d'indicatrices que de modalités

2 points, et le logiciel refuse d'estimer le modèle

Ce qu'il ne faut pas écrire

« Trois programmes, donc trois indicatrices dans le modèle. »

Ce qu'il faut écrire

« Deux indicatrices seulement : la troisième modalité sert de RÉFÉRENCE. Avec trois indicatrices, leur somme vaut toujours 11 et le modèle devient indéterminé. »

Pourquoi : La constante est déjà une colonne de 11 : trois indicatrices la reproduisent exactement, donc l'inverse nécessaire au calcul n'existe plus. C'est le piège de la variable muette.

5. Lire le coefficient d'une indicatrice comme une pente

1,5 point, et une phrase qui n'a aucun sens

Ce qu'il ne faut pas écrire

« b3=2,40b_{3}=2{,}40 : la note augmente de 2,42{,}4 points par unité de programme. »

Ce qu'il faut écrire

« Les étudiants de Sciences humaines obtiennent en moyenne 2,42{,}4 points de plus QUE ceux de la modalité de référence, à autres variables constantes. C'est un décalage, pas une pente. »

Pourquoi : L'indicatrice ne prend que les valeurs 00 et 11 : « une unité de plus » signifie « passer d'un programme à l'autre ». Sans terme d'interaction, les deux droites restent parallèles.

6. Vérifier la corrélation des résidus au lieu de leur forme

1,5 point, et un diagnostic sans contenu

Ce qu'il ne faut pas écrire

« Les résidus ne sont corrélés avec aucun prédicteur : le modèle est validé. »

Ce qu'il faut écrire

« Cette absence de corrélation est AUTOMATIQUE, comme la somme nulle des résidus. J'examine la FORME du nuage : entonnoir ou courbure. »

en entonnoirhétéroscédasticitéen Unon-linéarité
Les deux nuages ont une corrélation nulle avec le prédicteur et une moyenne nulle : c'est leur FORME, entonnoir à gauche et courbure à droite, qui dénonce le problème.

Pourquoi : La méthode des moindres carrés construit les résidus orthogonaux aux prédicteurs : le vérifier revient à vérifier que le logiciel a fait son travail.

7. Retirer une variable à cause de la multicolinéarité alors qu'on veut prédire

1 point, et une décision de modélisation non justifiée

Ce qu'il ne faut pas écrire

« Le facteur d'inflation vaut 66 : je retire la variable, le modèle sera meilleur. »

Ce qu'il faut écrire

« La multicolinéarité gonfle les erreurs types et ruine l'interprétation des coefficients SÉPARÉS. Elle laisse les PRÉDICTIONS intactes : si le but est de prédire, on garde la variable. »

Pourquoi : Deux variables très corrélées portent presque la même information : le modèle sait combien elles apportent ENSEMBLE et ne sait plus les départager. Ce n'est un problème que si l'on veut les départager.

8. Interpréter les coefficients simples en présence d'une interaction

2 points, et l'interprétation de tout le modèle

Ce qu'il ne faut pas écrire

« Le modèle contient x1x_{1}, l'indicatrice et leur produit : le coefficient de x1x_{1} donne l'effet des heures d'étude. »

Ce qu'il faut écrire

« Avec une interaction, le coefficient de x1x_{1} est l'effet des heures d'étude POUR LA MODALITÉ DE RÉFÉRENCE seulement. Pour l'autre groupe, il faut y ajouter le coefficient d'interaction. »

Pourquoi : Le coefficient d'interaction est une DIFFÉRENCE DE PENTES : dès qu'il est présent, chaque coefficient simple devient conditionnel à la valeur zéro de l'autre variable.

Quelle méthode choisir

Comment lire une sortie de régression, ligne par ligne

On parcourt la sortie dans cet ordre : qualité globale, puis chaque coefficient, puis les diagnostics.

  • Si la question porte sur la qualité globale du modèle lire R2R^{2} ET R2R^{2} ajusté, et commenter l'écart entre les deux

    Exemple : 0,420{,}42 contre 0,3890{,}389 avec trois variables

  • Si la question porte sur un coefficient précis calculer t=bETt=\dfrac{b}{ET}, comparer à la valeur critique à nk1n-k-1 degrés de liberté, puis interpréter avec la clause « à variables constantes »

    Exemple : b=1,80b=1{,}80, ET=0,45ET=0{,}45 donnent t=4,00t=4{,}00

  • Si la question demande quelle variable compte le plus passer aux coefficients STANDARDISÉS, jamais aux coefficients bruts

    Exemple : 0,630{,}63 contre 0,26-0{,}26

  • Si la variable est qualitative identifier la modalité de RÉFÉRENCE et lire le coefficient comme un décalage par rapport à elle

    Exemple : +2,4+2{,}4 points par rapport aux sciences de la nature

  • Si la question demande une prédiction remplacer toutes les variables par leurs valeurs, indicatrices comprises, et rester dans le domaine des données

    Exemple : 12 heures d'étude, 15 heures de travail, indicatrice à 1

Une variable non significative ne se retire pas automatiquement : si elle sert de contrôle à une variable confondante, elle reste dans le modèle.

Quel diagnostic pose ce nuage de résidus ?

On porte les résidus contre les valeurs prédites et on regarde la FORME, pas la corrélation.

  • Si la dispersion grandit de gauche à droite HÉTÉROSCÉDASTICITÉ : les coefficients restent bons, les erreurs types sont fausses, donc les tests aussi

    Exemple : des revenus, dont la variabilité croît avec le niveau

  • Si le nuage dessine une courbe, en U ou en cloche NON-LINÉARITÉ : ajouter un terme quadratique ou passer au logarithme

    Exemple : un rendement décroissant des heures d'étude

  • Si un point s'écarte très loin en xx POINT DE LEVIER : refaire l'analyse avec et sans, et publier les deux

    Exemple : un étudiant à 45 heures d'étude par semaine

  • Si les résidus se suivent dans le temps AUTOCORRÉLATION : les erreurs types sont sous-estimées, il faut un modèle de série chronologique

    Exemple : des données mensuelles

  • Si le nuage est un rectangle sans structure rien à signaler : c'est exactement ce qu'on veut voir

    Exemple : une bande horizontale d'épaisseur constante

Aucun de ces diagnostics ne se lit sur le R2R^{2} : un modèle mal spécifié peut très bien afficher un R2R^{2} élevé.

La rédaction attendue

Le correcteur coche des étapes. Les voici dans l'ordre, avec la phrase de conclusion qu'il attend mot pour mot.

Interpréter un coefficient de régression multiple

Quand l'utiliser : Dès qu'une question demande ce que signifie un coefficient d'une sortie.

  1. 1 Nommer la variable, avec son unité.
  2. 2 Donner le sens et la valeur : « une unité de plus est associée à tant de points de plus, ou de moins ».
  3. 3 Ajouter la clause « à variables restantes constantes », en nommant au moins une de ces variables.
  4. 4 Donner le test : t=bETt=\dfrac{b}{ET}, la comparaison au seuil, et la décision.
  5. 5 Terminer par l'intervalle de confiance, dans l'unité de la variable.

Phrase de conclusion

« À heures de travail rémunéré et programme d'études constants, une heure d'étude hebdomadaire supplémentaire est associée à 1,801{,}80 point de plus à la note de session. Avec t=4,00t=4{,}00 pour 5656 degrés de liberté, ce coefficient est significatif au seuil de 5 %, et son intervalle de confiance va de 0,900{,}90 à 2,702{,}70 point. »

Le piège : Écrire « augmente la note » : le modèle mesure une association, et le verbe causal coûte le point.

Barème : 1 point pour la valeur et le sens, 1 point pour la clause, 1 point pour le test, 1 point pour l'intervalle.

Décider si une variable mérite de rester dans le modèle

Quand l'utiliser : Quand l'énoncé compare deux modèles, ou demande si une variable est utile.

  1. 1 Comparer les R2R^{2} AJUSTÉS des deux modèles, jamais les R2R^{2}.
  2. 2 Regarder la significativité du coefficient de la variable en question.
  3. 3 Vérifier son facteur d'inflation de la variance : au-delà de 55, signaler la multicolinéarité.
  4. 4 Dire à quoi sert le modèle : pour PRÉDIRE, on garde; pour INTERPRÉTER des effets séparés, on tranche.

Phrase de conclusion

« Le R2R^{2} ajusté passe de 0,4370{,}437 à 0,3900{,}390 en ajoutant les six variables, et aucun de leurs coefficients n'est significatif : le modèle à deux variables est préférable. »

Le piège : Retirer une variable de contrôle non significative : elle est dans le modèle pour neutraliser une confondante, pas pour être significative.

Barème : 1 point pour la comparaison des R2R^{2} ajustés, 1 point pour la significativité, 1 point pour la conclusion motivée par l'objectif du modèle.

Vérifier avant de rendre

Cinq minutes de vérification récupèrent plus de points qu'un exercice de plus commencé à la hâte.

L'exercice type décortiqué

Modéliser la note de session, d'une sortie de logiciel à la prédiction

Sur 6060 étudiants, on régresse la note de session sur les heures d'étude hebdomadaires, les heures de travail rémunéré et une indicatrice valant 11 pour les étudiants de Sciences humaines.

Sortie : constante 52,0052{,}00; heures d'étude b=1,80b=1{,}80 et ET=0,45ET=0{,}45; travail rémunéré b=0,35b=-0{,}35 et ET=0,12ET=0{,}12; indicatrice b=2,40b=2{,}40 et ET=1,60ET=1{,}60. R2=0,42R^{2}=0{,}42.

Écarts-types : heures d'étude 4,24{,}2; travail rémunéré 9,09{,}0; note 12,012{,}0.

Étape 1

t1=1,800,45=4,00t_{1}=\dfrac{1{,}80}{0{,}45}=4{,}00; t2=0,350,12=2,92t_{2}=\dfrac{-0{,}35}{0{,}12}=-2{,}92; t3=2,401,60=1,50t_{3}=\dfrac{2{,}40}{1{,}60}=1{,}50. Degrés de liberté : 6031=5660-3-1=56, valeur critique 2,002{,}00.

Pourquoi

Les deux premières variables sont significatives, la troisième non. Il faut le dire avant d'interpréter quoi que ce soit : un coefficient non significatif ne s'interprète pas comme un effet établi.

Étape 2

Interprétation : à travail rémunéré et programme constants, une heure d'étude de plus est associée à 1,801{,}80 point de plus; à heures d'étude et programme constants, une heure de travail rémunéré de plus est associée à 0,350{,}35 point de moins.

Pourquoi

La clause change le sens de la phrase : sans elle, on affirmerait une corrélation brute que le modèle n'a jamais estimée.

Étape 3

L'indicatrice : les étudiants de Sciences humaines obtiennent 2,402{,}40 points de plus que la modalité de référence, mais t=1,50t=1{,}50 ne dépasse pas 2,002{,}00 : l'écart n'est pas significatif.

Pourquoi

C'est un DÉCALAGE, pas une pente : sans terme d'interaction, les droites des deux programmes restent parallèles.

Étape 4

Raj2=1(10,42)59560,389R_{aj}^{2}=1-\left(1-0{,}42\right)\dfrac{59}{56}\approx 0{,}389.

Pourquoi

L'écart de trois centièmes chiffre le prix des trois variables. C'est ce nombre, et non le R2R^{2}, qu'on compare d'un modèle à l'autre.

Étape 5

Coefficients standardisés : β1=1,80×4,212,0=0,63\beta_{1}=1{,}80\times\dfrac{4{,}2}{12{,}0}=0{,}63 et β2=0,35×9,012,0=0,26\beta_{2}=-0{,}35\times\dfrac{9{,}0}{12{,}0}=-0{,}26.

Pourquoi

Les coefficients bruts suggéraient un rapport de 55, les standardisés donnent 2,42{,}4 : le travail rémunéré varie beaucoup plus d'un étudiant à l'autre, ce qui compense son petit coefficient.

Étape 6

Prédiction pour 1212 heures d'étude, 1515 heures de travail, indicatrice à 11 : 52+1,80(12)0,35(15)+2,40=70,7552+1{,}80(12)-0{,}35(15)+2{,}40=70{,}75.

Pourquoi

On substitue TOUTES les variables, indicatrice comprise. Le contrôle est immédiat : la valeur prédite doit tomber dans l'intervalle des notes observées.

Conclusion rédigée

« Le modèle explique 4242 % de la variance des notes, 38,938{,}9 % après ajustement. Les heures d'étude et les heures de travail rémunéré sont toutes deux significativement associées à la note, l'étude pesant environ 2,42{,}4 fois plus une fois les coefficients standardisés; l'écart entre programmes, de 2,42{,}4 points, n'est pas significatif. »

L'erreur classique sur cet exercice : Conclure que l'étude compte cinq fois plus que le travail rémunéré, à partir des coefficients bruts : les deux variables n'ont ni la même unité ni la même dispersion.

À savoir par cœur

  • Un coefficient de régression multiple est PARTIEL : « à variables restantes constantes » fait partie de sa définition.
  • t=bETt=\dfrac{b}{ET} avec nk1n-k-1 degrés de liberté, et l'intervalle b±tcrit×ETb\pm t_{crit}\times ET.
  • R2R^{2} ne baisse jamais quand on ajoute une variable. Raj2R_{aj}^{2} peut baisser, et c'est lui qu'on compare.
  • kk modalités, k1k-1 indicatrices, une modalité de RÉFÉRENCE. Le coefficient est un DÉCALAGE, pas une pente.
  • Coefficients standardisés β=bsxsy\beta=b\dfrac{s_{x}}{s_{y}} : les seuls comparables entre variables d'unités différentes.
  • Les résidus s'examinent par leur FORME : entonnoir pour l'hétéroscédasticité, U pour la non-linéarité.
  • VIF=11Rj2VIF=\dfrac{1}{1-R_{j}^{2}}, sérieux au-delà de 55 : il gonfle les erreurs types et laisse les prédictions intactes.

Questions fréquentes

Que veut dire un coefficient partiel en régression multiple ?

Qu'il donne la variation de la variable expliquée pour une unité de plus de la variable concernée, toutes les autres variables du modèle restant constantes. Cette clause fait partie de la définition du nombre : sans elle, on décrit la corrélation brute, qui vaut autre chose dès que les variables explicatives sont corrélées entre elles.

Pourquoi utiliser le R carré ajusté plutôt que le R carré ?

Parce que le R carré ne peut jamais diminuer quand on ajoute une variable, même totalement inutile : c'est une propriété algébrique et non un signe de qualité. Le R carré ajusté pénalise chaque variable ajoutée, si bien qu'il baisse quand la nouvelle variable n'apporte que du bruit. C'est donc lui qu'on compare d'un modèle à l'autre.

Combien d'indicatrices faut-il pour une variable qualitative ?

Une de moins que le nombre de modalités. Trois programmes demandent deux indicatrices, la troisième modalité servant de référence. Avec autant d'indicatrices que de modalités, leur somme reproduit exactement la constante du modèle, qui devient impossible à estimer. Le coefficient obtenu se lit comme un écart par rapport à la modalité de référence.

Comment savoir si un modèle de régression pose problème ?

On porte les résidus contre les valeurs prédites et on regarde la forme du nuage. Une bande horizontale d'épaisseur constante est ce qu'on veut voir. Un entonnoir signale de l'hétéroscédasticité, qui fausse les tests. Une courbure en U signale une relation non linéaire, à corriger par un terme quadratique ou un logarithme.

Qu'est-ce que la multicolinéarité et quand faut-il s'en inquiéter ?

C'est le fait que deux variables explicatives portent presque la même information. On la mesure par le facteur d'inflation de la variance, sérieux au-delà de cinq. Elle gonfle les erreurs types et rend les coefficients séparés peu fiables, mais elle laisse les prédictions intactes. Elle n'est donc un problème que si l'on veut interpréter chaque variable à part.

Passer à la pratique

Exercices corrigés : La régression multiple

Une méthode se prouve sur une copie, pas sur une fiche. La série du même chapitre reprend chacun de ces pièges dans un exercice, avec le corrigé rédigé étape par étape.

  • 10 exercices corrigés
  • 100 points
  • 150 minutes
Faire les exercices
Fiche précédente L'analyse de variance à un facteur Fiche suivante Les tests non paramétriques

Voir aussi

Vous cherchez un tuteur en méthodes quantitatives avancées à Montréal ?

Contactez-moi pour une première séance. Le 360-301 arrive au moment de la recherche de fin de programme, et c'est le cours où une erreur de méthode coûte tout le chapitre d'analyse.

Site par Studio Squalli