Statistiques avancées 201-337 • Complément québécois et cégep à Montréal

Exercices corrigés : corrélation et régression linéaire (201-337)

Ce chapitre est celui que l'on retrouve partout ensuite : en économie, en biologie, en santé publique, dans tout rapport qui affirme qu'une chose en explique une autre. Il est aussi celui où l'on se trompe le plus, parce que la machine calcule une droite et un coefficient sur n'importe quel nuage, même absurde.

L'exercice 5 traite le point qui compte vraiment : un coefficient de corrélation de 0,95 entre la vente de crème glacée et le nombre de noyades n'établit strictement rien, parce qu'une troisième variable, la température, explique les deux. Savoir formuler cette objection est ce qui distingue un lecteur formé d'un lecteur crédule.

Série autocorrigée Tape tes réponses sous chaque question : la page te dit juste ou faux avant d'ouvrir la correction. Avec un compte, chaque bonne réponse du premier coup rapporte des points.

Ce chapitre fait partie de Statistiques avancées, 201-337
Avant de commencer Fiche de révision : les pièges et la méthode de ce chapitre

Avant ce chapitre

Ces notions sont supposées acquises ici. Si le premier exercice résiste, le blocage vient presque toujours de l'une d'elles, pas du chapitre lui-même.

Remonter plus loin : la chaîne complète (4 chapitres) ↓

Le chemin de remédiation, du plus ancien au plus proche. Un élève qui reprend ce chapitre de zéro le reprend dans cet ordre.

  1. 1Nuage de points, corrélation et régressionSecondaire 4 SN4
  2. 2Les statistiques descriptives
  3. 3Probabilités et lois de distribution
  4. 4Estimation et tests d'hypothèse

Rappel de cours

  • On étudie toujours le NUAGE DE POINTS avant de calculer : forme, linéarité, valeurs aberrantes. Un coefficient calculé sur un nuage non linéaire n'a aucun sens.
  • Sommes de travail : Sxy=xy(x)(y)nS_{xy}=\sum xy-\dfrac{\left(\sum x\right)\left(\sum y\right)}{n}, Sxx=x2(x)2nS_{xx}=\sum x^{2}-\dfrac{\left(\sum x\right)^{2}}{n} et Syy=y2(y)2nS_{yy}=\sum y^{2}-\dfrac{\left(\sum y\right)^{2}}{n}.
  • Coefficient de corrélation linéaire : r=SxySxxSyyr=\dfrac{S_{xy}}{\sqrt{S_{xx}S_{yy}}}, toujours compris entre 1-1 et 11. Le SIGNE donne le sens, la VALEUR ABSOLUE la force.
  • Droite des moindres carrés y=a+bxy=a+bx : pente b=SxySxxb=\dfrac{S_{xy}}{S_{xx}}, puis a=ybxa=\overline{y}-b\overline{x}. Elle passe TOUJOURS par le point moyen (x ; y)\left(\overline{x}\ ;\ \overline{y}\right).
  • « Moindres carrés » signifie que la droite minimise la somme des carrés des écarts VERTICAUX entre les points et la droite. Ces écarts s'appellent les résidus, et leur somme est nulle.
  • Coefficient de DÉTERMINATION r2r^{2} : proportion de la variation de yy expliquée par la relation linéaire avec xx. On l'exprime en pourcentage.
  • EXTRAPOLER, c'est-à-dire prédire hors de l'intervalle des xx observés, n'est jamais justifié par le modèle : rien ne garantit que la relation se prolonge.
  • CORRÉLATION N'EST PAS CAUSALITÉ. Trois explications concurrentes à toute corrélation : xx cause yy, yy cause xx, ou une troisième variable CONFONDANTE cause les deux. Le hasard sur un petit échantillon en est une quatrième.
  • Le coefficient de corrélation n'est PAS robuste : un seul point aberrant peut faire chuter r2r^{2} de 99 % à 65 %, et un point de LEVIER, éloigné en xx, peut diviser la pente par deux en laissant rr élevé. Ne jamais supprimer un point gênant : enquêter, publier avec et sans, ou passer à une méthode robuste.
  • Résidus : ei=yiyi^e_{i}=y_{i}-\hat{y_{i}}. Leur somme est nulle par construction et ne prouve rien. Le GRAPHIQUE des résidus doit être un nuage sans structure; une courbure signale une relation non linéaire, un entonnoir une dispersion non constante. Erreur type de l'estimation : se=ei2n2s_{e}=\sqrt{\frac{\sum e_{i}^{2}}{n-2}}, et ei2=Syy(1r2)\sum e_{i}^{2}=S_{yy}(1-r^{2}).
  • Linéarisation : un modèle EXPONENTIEL y=aebxy=ae^{bx} se redresse en régressant lny\ln y sur xx (semi-log); un modèle en PUISSANCE y=axby=ax^{b} se redresse en régressant lny\ln y sur lnx\ln x (log-log), où la pente donne directement l'exposant.
  • Significativité de rr : t=rn21r2t=\frac{r\sqrt{n-2}}{\sqrt{1-r^{2}}} à n2n-2 degrés de liberté. Un même r=0,50r=0{,}50 n'est pas significatif sur 10 individus et l'est sur 30 : la significativité mesure la solidité de la PREUVE, jamais la force ni l'importance de la relation.

Partie A : Nuage, corrélation et droite (/50)

Exercice 1 : Le nuage de points et le coefficient de corrélation

Avant toute formule, on regarde le nuage. Le coefficient de corrélation ne mesure QUE la force d'une relation LINÉAIRE, et il peut être trompeur si l'on n'a pas vérifié cette hypothèse.

Une étude relie le nombre d'heures d'étude hebdomadaires xx et la note obtenue yy chez six étudiants : (2 ; 35)(2\ ;\ 35), (4 ; 48)(4\ ;\ 48), (5 ; 52)(5\ ;\ 52), (7 ; 68)(7\ ;\ 68), (9 ; 80)(9\ ;\ 80), (11 ; 95)(11\ ;\ 95).

2468101220406080100heures d'étudenote
  • a) Décrivez le nuage : sens, forme, force apparente de la relation.
  • b) Calculez x\sum x, y\sum y, xy\sum xy, x2\sum x^{2} et y2\sum y^{2}.
  • c) Calculez SxyS_{xy}, SxxS_{xx} et SyyS_{yy}.
  • d) Calculez le coefficient de corrélation et interprétez.
  • e) Un coefficient de corrélation proche de zéro signifie-t-il qu'il n'y a aucune relation entre les deux variables ?

Tape tes réponses, la page te dit juste ou faux 0/13

a)
b)
c)
d)
e)
Voir la correction

Réponses

  • a) Nuage croissant, aligné, sans courbure ni point aberrant : la relation paraît linéaire et très forte.
  • b) x=38\sum x=38, y=378\sum y=378, xy=2763\sum xy=2763, x2=296\sum x^{2}=296, y2=26282\sum y^{2}=26\,282.
  • c) Sxy=369S_{xy}=369, Sxx=55,333S_{xx}=55{,}333, Syy=2468S_{yy}=2468.
  • d) r=369369,54=0,9985r=\dfrac{369}{369{,}54}=0{,}9985 : relation linéaire positive presque parfaite.
  • e) Non : r0r\approx 0 n'exclut qu'une relation LINÉAIRE. Une parabole symétrique donne r=0r=0 avec yy entièrement déterminé par xx.

a) Le nuage est nettement CROISSANT : les notes augmentent avec le nombre d'heures d'étude. Les points sont très proches d'une droite, sans courbure visible et sans valeur aberrante : la relation est linéaire et paraît très forte. Cette lecture préalable est indispensable, car elle valide l'emploi du coefficient de corrélation linéaire.

b) x=2+4+5+7+9+11=38\sum x=2+4+5+7+9+11=38. y=35+48+52+68+80+95=378\sum y=35+48+52+68+80+95=378. xy=70+192+260+476+720+1045=2763\sum xy=70+192+260+476+720+1045=2763. x2=4+16+25+49+81+121=296\sum x^{2}=4+16+25+49+81+121=296. y2=1225+2304+2704+4624+6400+9025=26282\sum y^{2}=1225+2304+2704+4624+6400+9025=26\,282.

c) Sxy=276338×3786=27632394=369S_{xy}=2763-\dfrac{38\times 378}{6}=2763-2394=369. Sxx=2963826=296240,667=55,333S_{xx}=296-\dfrac{38^{2}}{6}=296-240{,}667=55{,}333. Syy=2628237826=2628223814=2468S_{yy}=26\,282-\dfrac{378^{2}}{6}=26\,282-23\,814=2468.

d) r=SxySxxSyy=36955,333×2468=369369,54=0,9985r=\dfrac{S_{xy}}{\sqrt{S_{xx}S_{yy}}}=\dfrac{369}{\sqrt{55{,}333\times 2468}}=\dfrac{369}{369{,}54}=0{,}9985. La corrélation est POSITIVE, donc les deux variables varient dans le même sens, et sa valeur absolue est extrêmement proche de 1 : la relation linéaire est presque parfaite. Un tel coefficient est rare sur des données réelles ; il indique ici des données construites ou un phénomène très régulier.

e) NON, et c'est le piège classique. Un rr proche de zéro signifie seulement qu'il n'y a pas de relation LINÉAIRE. Il peut parfaitement exister une relation forte mais courbe : sur un nuage en forme de parabole symétrique, par exemple y=x2y=x^{2} avec des xx répartis symétriquement autour de zéro, le coefficient vaut exactement 0 alors que yy est entièrement déterminé par xx. C'est précisément pourquoi on TRACE le nuage avant de calculer : le coefficient seul ne peut pas distinguer « pas de relation » de « relation non linéaire ».

Exercice 2 : La droite des moindres carrés

Parmi toutes les droites possibles, une seule minimise la somme des carrés des écarts verticaux. Ses deux coefficients se calculent à partir des mêmes sommes de travail.

On reprend les données de l'exercice 1 : Sxy=369S_{xy}=369, Sxx=55,333S_{xx}=55{,}333, x=6,333\overline{x}=6{,}333 et y=63,0\overline{y}=63{,}0.

  • a) Calculez la pente, puis l'ordonnée à l'origine, et écrivez l'équation de la droite.
  • b) Interprétez concrètement la pente et l'ordonnée à l'origine, en précisant si cette dernière a un sens ici.
  • c) Vérifiez que la droite passe par le point moyen.
  • d) Que signifie exactement « moindres carrés » ? Pourquoi minimiser les carrés plutôt que les écarts eux-mêmes ?
  • e) Calculez le résidu de l'étudiant qui a travaillé 5 heures et obtenu 52. Que signifie son signe ?

Tape tes réponses, la page te dit juste ou faux 0/12

a)
b)
c)
d)
e)
Voir la correction

Réponses

  • a) b=6,669b=6{,}669 et a=20,765a=20{,}765, donc y=20,77+6,67xy=20{,}77+6{,}67x.
  • b) Une heure d'étude de plus vaut en moyenne 6,67 points. L'ordonnée à l'origine, 20,77, est une extrapolation en x=0x=0.
  • c) 20,765+6,669(6,333)=63,0=y20{,}765+6{,}669(6{,}333)=63{,}0=\overline{y} : la droite passe par le point moyen, par construction.
  • d) On minimise (yiy^i)2\sum(y_{i}-\hat{y}_{i})^{2}. Les écarts bruts s'annulent pour une infinité de droites.
  • e) y^(5)=54,11\hat{y}(5)=54{,}11 et e=2,11e=-2{,}11 : l'étudiant est sous la droite, et c'est le plus grand résidu des six.

a) b=SxySxx=36955,333=6,669b=\dfrac{S_{xy}}{S_{xx}}=\dfrac{369}{55{,}333}=6{,}669. Puis a=ybx=63,06,669×6,333=63,042,235=20,765a=\overline{y}-b\overline{x}=63{,}0-6{,}669\times 6{,}333=63{,}0-42{,}235=20{,}765. L'équation est donc y=20,77+6,67xy=20{,}77+6{,}67x.

b) La PENTE signifie qu'une heure d'étude hebdomadaire supplémentaire est associée à une hausse moyenne de 6,67 points sur la note. L'ORDONNÉE À L'ORIGINE, 20,77, correspondrait à la note d'un étudiant travaillant zéro heure. Ce nombre est à manier avec prudence : x=0x=0 est en dehors de l'intervalle observé, qui va de 2 à 11 heures, et il s'agit donc d'une extrapolation. On peut y voir un ordre de grandeur plausible, mais le modèle ne le garantit pas.

c) Le point moyen est (6,333 ; 63,0)\left(6{,}333\ ;\ 63{,}0\right). En y injectant l'équation : 20,765+6,669×6,333=20,765+42,235=63,020{,}765+6{,}669\times 6{,}333=20{,}765+42{,}235=63{,}0. La droite passe bien par le point moyen, ce qui n'est pas une coïncidence mais une conséquence directe de la formule a=ybxa=\overline{y}-b\overline{x}, laquelle est construite pour cela. C'est un contrôle rapide et systématique à faire sur toute régression.

d) « Moindres carrés » signifie que la droite retenue est celle qui rend MINIMALE la somme (yiy^i)2\sum\left(y_{i}-\hat{y}_{i}\right)^{2}, où y^i\hat{y}_{i} est la valeur prédite. On ne minimise pas les écarts bruts parce que leur somme est NULLE pour une infinité de droites, les écarts positifs compensant les négatifs : le critère ne sélectionnerait rien. Élever au carré empêche cette compensation, pénalise davantage les gros écarts que les petits, et conduit à des formules explicites simples, ce qui n'est pas le cas si l'on minimise les valeurs absolues.

e) La valeur prédite pour x=5x=5 vaut y^=20,765+6,669×5=54,11\hat{y}=20{,}765+6{,}669\times 5=54{,}11. Le résidu est yy^=5254,11=2,11y-\hat{y}=52-54{,}11=-2{,}11. Son signe NÉGATIF signifie que cet étudiant a obtenu une note INFÉRIEURE à celle que le modèle prédisait pour son temps d'étude : il se situe sous la droite. C'est d'ailleurs le plus grand résidu en valeur absolue des six, donc le point le moins bien ajusté du nuage.

2468101224681012y = 0,80 x + 1,70les traits sont les residuson minimise la sommede leurs CARRES

Exercice 3 : Le coefficient de détermination et la prédiction

Le carré du coefficient de corrélation s'interprète directement comme un pourcentage : la part de la variation de yy que le modèle explique. C'est l'indicateur que l'on cite pour juger de la qualité d'un ajustement.

On garde r=0,9985r=0{,}9985 et la droite y=20,77+6,67xy=20{,}77+6{,}67x, valable pour xx entre 2 et 11 heures.

  • a) Calculez le coefficient de détermination et énoncez son interprétation.
  • b) Que représentent les 0,3 % restants ?
  • c) Prédisez la note d'un étudiant travaillant 8 heures par semaine.
  • d) Prédisez celle d'un étudiant travaillant 20 heures. Cette prédiction est-elle légitime ?
  • e) Que vaudrait la prédiction pour 30 heures ? Que révèle ce résultat sur les limites du modèle ?

Tape tes réponses, la page te dit juste ou faux 0/9

a)
b)
c)
d)
e)
Voir la correction

Réponses

  • a) r2=0,9971r^{2}=0{,}9971 : 99,7 % de la variation des notes est expliquée par le temps d'étude.
  • b) La variation résiduelle : aptitudes, qualité de l'étude, forme du jour, hasard des questions, erreurs de mesure.
  • c) y^(8)=74,1\hat{y}(8)=74{,}1. Interpolation légitime, 8 étant entre 2 et 11.
  • d) y^(20)=154,1\hat{y}(20)=154{,}1, impossible : c'est une extrapolation hors de l'intervalle observé.
  • e) y^(30)=220,8\hat{y}(30)=220{,}8. L'absurdité rend l'erreur visible ; le danger, c'est l'extrapolation qui produit un nombre plausible.

a) r2=0,99852=0,9971r^{2}=0{,}9985^{2}=0{,}9971, soit 99,7 %. Interprétation : 99,7 % de la variation observée des notes est EXPLIQUÉE par la relation linéaire avec le nombre d'heures d'étude. C'est un ajustement exceptionnellement bon.

b) Les 0,3 % restants représentent la variation RÉSIDUELLE, c'est-à-dire tout ce que le temps d'étude ne rend pas compte : les aptitudes individuelles, la qualité de l'étude et non sa seule durée, la forme le jour de l'examen, la part de hasard dans le choix des questions, ainsi que les erreurs de mesure. Aucun modèle statistique ne prétend expliquer 100 % d'un phénomène humain, et un r2r^{2} de 1,000 sur des données réelles serait d'ailleurs suspect.

c) y^=20,765+6,669×8=20,765+53,35=74,1\hat{y}=20{,}765+6{,}669\times 8=20{,}765+53{,}35=74{,}1. La prédiction est d'environ 74. Elle est LÉGITIME parce que 8 heures se situe à l'intérieur de l'intervalle des données observées, entre 2 et 11 : il s'agit d'une interpolation.

d) y^=20,765+6,669×20=20,765+133,37=154,1\hat{y}=20{,}765+6{,}669\times 20=20{,}765+133{,}37=154{,}1. La prédiction dépasse 100 : elle est IMPOSSIBLE, puisque la note est bornée à 100. La prédiction n'est donc pas légitime, et pour une raison de fond : x=20x=20 est bien au-delà de l'intervalle observé, on EXTRAPOLE. Rien dans les données ne garantit que la relation reste linéaire au-delà de 11 heures ; en réalité elle plafonne nécessairement.

e) y^=20,765+6,669×30=220,8\hat{y}=20{,}765+6{,}669\times 30=220{,}8, soit plus du double du maximum possible. L'absurdité du résultat est ici une bonne nouvelle : elle rend l'erreur VISIBLE. Le vrai danger de l'extrapolation, c'est le cas où elle produit un nombre plausible, que rien ne signale comme faux. La règle est donc de ne jamais prédire hors de l'intervalle des xx observés, et de toujours indiquer cet intervalle de validité à côté de l'équation. Un modèle linéaire n'est qu'une approximation LOCALE d'une relation qui, dans la réalité, sature presque toujours.

Exercice 4 : Le point aberrant et le point de levier

On reprend les six étudiants reliant heures d'étude xx et note yy : (2 ; 35)(2\ ;\ 35), (4 ; 48)(4\ ;\ 48), (5 ; 52)(5\ ;\ 52), (7 ; 68)(7\ ;\ 68), (9 ; 80)(9\ ;\ 80), (11 ; 95)(11\ ;\ 95), pour lesquels r0,9985r\approx 0{,}9985 et la droite vaut y=20,77+6,669xy=20{,}77+6{,}669x. On y ajoute tour à tour un septième étudiant, et l'on observe les dégâts.

  • a) Un septième étudiant a travaillé 5 heures et obtenu 90. Recalculez x\overline{x}, y\overline{y}, puis SxyS_{xy}, SxxS_{xx}, SyyS_{yy} et le coefficient de corrélation.
  • b) Calculez le nouveau coefficient de détermination et comparez-le à l'ancien. Commentez l'ampleur de l'effet d'un seul point sur sept.
  • c) On remplace ce septième étudiant par un autre, qui a travaillé 20 heures et obtenu 100. Recalculez la pente et le coefficient de corrélation. Comparez avec le cas a).
  • d) On appelle LEVIER l'influence qu'un point exerce sur la droite, et elle croît avec l'éloignement de son xx à la moyenne des xx. Justifiez ce fait à partir de la formule de la pente, et dites lequel des deux points ajoutés est le plus dangereux.
  • e) Que faut-il faire, en pratique, devant un point qui déforme ainsi l'analyse ?

Tape tes réponses, la page te dit juste ou faux 0/14

a)
b)
c)
d)
e)
Voir la correction

Réponses

  • a) Avec (5 ; 90)(5\ ;\ 90) : x=6,143\overline{x}=6{,}143, y=66,86\overline{y}=66{,}86, Sxy=338,1S_{xy}=338{,}1, Sxx=56,86S_{xx}=56{,}86, Syy=3092,9S_{yy}=3092{,}9, r=0,806r=0{,}806.
  • b) r2r^{2} tombe de 0,997 à 0,650 : un point sur sept a détruit l'essentiel de la relation.
  • c) Avec (20 ; 100)(20\ ;\ 100) : b=3,72b=3{,}72 et r=0,906r=0{,}906. La pente est presque divisée par deux sans que rr n'alerte.
  • d) Dans b=(xix)(yiy)(xix)2b=\dfrac{\sum(x_{i}-\overline{x})(y_{i}-\overline{y})}{\sum(x_{i}-\overline{x})^{2}}, un xx éloigné pèse énormément. Le point (20 ; 100) est le plus dangereux.
  • e) Enquêter, puis publier les deux analyses, puis envisager une méthode robuste. Jamais supprimer un point parce qu'il dérange.

a) Avec le point (5 ; 90)(5\ ;\ 90) : n=7n=7, x=43\sum x=43, y=468\sum y=468, xy=3213\sum xy=3213, x2=321\sum x^{2}=321, y2=34 382\sum y^{2}=34\ 382. Donc x6,143\overline{x}\approx 6{,}143 et y66,86\overline{y}\approx 66{,}86. Sommes de travail : Sxy=3213(43)(468)7338,1S_{xy}=3213-\frac{(43)(468)}{7}\approx 338{,}1, Sxx=321432756,86S_{xx}=321-\frac{43^{2}}{7}\approx 56{,}86, Syy=34 382468273092,9S_{yy}=34\ 382-\frac{468^{2}}{7}\approx 3092{,}9. Coefficient : r=338,1(56,86)(3092,9)0,806r=\frac{338{,}1}{\sqrt{(56{,}86)(3092{,}9)}}\approx 0{,}806.

b) r2r^{2} passe de 0,9970{,}997 à 0,6500{,}650 : la proportion de variation expliquée s'effondre de 99,7 % à 65 %. Un point sur sept, soit 14 % des données, a détruit l'essentiel de la relation. C'est le rappel le plus utile du chapitre : le coefficient de corrélation n'est pas une mesure robuste, il est extrêmement sensible aux valeurs extrêmes, et l'annoncer sans avoir regardé le nuage revient à parier à l'aveugle.

c) Avec (20 ; 100)(20\ ;\ 100) : x=58\sum x=58, y=478\sum y=478, xy=4763\sum xy=4763, x2=696\sum x^{2}=696, y2=36 282\sum y^{2}=36\ 282. On obtient Sxy802,4S_{xy}\approx 802{,}4, Sxx215,4S_{xx}\approx 215{,}4 et Syy3641,4S_{yy}\approx 3641{,}4, d'où une pente b=802,4215,43,72b=\frac{802{,}4}{215{,}4}\approx 3{,}72 et r0,906r\approx 0{,}906. Le contraste avec le a) est instructif : ici le coefficient reste élevé, apparemment rassurant, alors que la PENTE a été presque divisée par deux, passant de 6,67 à 3,72. Le modèle prédit désormais qu'une heure d'étude supplémentaire ne rapporte que 3,7 points au lieu de 6,7 : la conclusion pratique est bouleversée sans que rr ait tiré la sonnette d'alarme.

d) La pente vaut b=SxySxx=(xix)(yiy)(xix)2b=\frac{S_{xy}}{S_{xx}}=\frac{\sum(x_{i}-\overline{x})(y_{i}-\overline{y})}{\sum(x_{i}-\overline{x})^{2}}. Chaque point y intervient par son écart xixx_{i}-\overline{x}, et un point très éloigné en xx apporte un terme énorme au numérateur comme au dénominateur : il pèse beaucoup plus lourd que les autres dans la détermination de la droite. Un point situé loin en xx agit littéralement comme un LEVIER, avec le point moyen pour pivot. C'est donc le second point, (20 ; 100)(20\ ;\ 100), qui est le plus dangereux : le premier abaisse visiblement le coefficient et alerte l'analyste, alors que le second déplace la droite en silence, en laissant un rr de 0,906 qui passerait sans discussion dans n'importe quel rapport.

e) Surtout pas le supprimer parce qu'il dérange. La démarche correcte comporte trois temps. D'abord ENQUÊTER : s'agit-il d'une erreur de saisie, d'une unité mal convertie, d'un individu qui n'appartient pas à la population étudiée ? Une donnée démontrablement fausse se corrige ou s'écarte, avec justification écrite. Ensuite, si le point est authentique, PUBLIER les deux analyses, avec et sans lui, en laissant le lecteur juger de sa portée : c'est la pratique courante en recherche. Enfin, envisager une méthode ROBUSTE, moins sensible aux extrêmes que les moindres carrés, ou une transformation qui rapproche les xx. Un point aberrant est souvent l'observation la plus riche du jeu de données : il signale une erreur de mesure, une population hétérogène, ou un phénomène que le modèle ignore.

24681012141618202468101214point de leviersans lui : pente 0,80avec lui : pente 0,29un point ELOIGNE en x fait pivoter la droite

Exercice 5 : Corrélation et causalité

C'est le point le plus important du chapitre, et le seul que l'on retrouvera toute sa vie. Une corrélation, même très forte, n'établit jamais à elle seule qu'une variable en cause une autre.

Dans une grande ville, on observe sur douze mois une corrélation de r=0,95r=0{,}95 entre les ventes mensuelles de crème glacée et le nombre de noyades.

  • a) Peut-on conclure que manger de la crème glacée augmente le risque de noyade ?
  • b) Énumérez les explications concurrentes possibles à toute corrélation observée.
  • c) Identifiez la variable confondante dans cet exemple et expliquez son mécanisme.
  • d) Comment pourrait-on, en principe, établir une causalité plutôt qu'une simple association ?
  • e) On observe une forte corrélation entre le nombre de pompiers envoyés sur un incendie et les dégâts constatés. Analysez.

Tape tes réponses, la page te dit juste ou faux 0/9

a)
b)
c)
d)
e)
Voir la correction

Réponses

  • a) Non : rr mesure la covariation, jamais le mécanisme.
  • b) Quatre : xx cause yy ; yy cause xx ; une troisième variable cause les deux ; ou le hasard.
  • c) La température. La chaleur fait vendre de la crème glacée ET fait se baigner : les deux séries suivent la même cause.
  • d) Une expérience contrôlée à assignation aléatoire, qui égalise même les confondantes inconnues. À défaut, contrôler statistiquement les variables connues.
  • e) La confondante est l'ampleur de l'incendie. La causalité va de la gravité vers l'envoi de pompiers, et l'effet réel des pompiers est de RÉDUIRE les dégâts.

a) NON. Le coefficient mesure uniquement à quel point les deux séries varient ensemble ; il ne contient aucune information sur le mécanisme qui les relie. Conclure à la causalité à partir d'un rr élevé est une faute de raisonnement, quelle que soit la valeur du coefficient.

b) Quatre explications sont en concurrence, et les données seules ne permettent pas de trancher entre elles. Premièrement, xx cause yy. Deuxièmement, yy cause xx, c'est-à-dire la causalité inverse. Troisièmement, une TROISIÈME VARIABLE, dite confondante, cause les deux simultanément. Quatrièmement, il peut s'agir d'une coïncidence due au hasard de l'échantillonnage, d'autant plus plausible que l'échantillon est petit ou qu'on a comparé un grand nombre de séries jusqu'à en trouver deux qui coïncident.

c) La variable confondante est la TEMPÉRATURE, ou plus largement la saison. Quand il fait chaud, les gens achètent davantage de crème glacée ; et quand il fait chaud, ils se baignent davantage, ce qui augmente mécaniquement le nombre d'occasions de noyade. Les deux séries montent et descendent ensemble au fil de l'année parce qu'elles sont toutes deux commandées par la même cause, sans qu'aucun lien direct ne les unisse. Supprimer toute la crème glacée de la ville ne changerait rien au nombre de noyades.

d) Par une EXPÉRIENCE CONTRÔLÉE avec assignation ALÉATOIRE : on répartit les sujets au hasard entre un groupe exposé et un groupe témoin, puis on compare. La randomisation garantit que les deux groupes ne diffèrent, en moyenne, que par le facteur manipulé, y compris pour les variables confondantes que l'on n'a pas identifiées, ce qui est son avantage décisif. Quand l'expérience est impossible ou contraire à l'éthique, comme ici, on se rabat sur des études observationnelles où l'on CONTRÔLE statistiquement les variables connues, par exemple en examinant la corrélation à température constante, laquelle disparaîtrait dans notre cas.

e) L'analyse est du même type, mais avec une nuance instructive. Il serait absurde de conclure que les pompiers causent les dégâts. La variable confondante est ici l'AMPLEUR INITIALE de l'incendie : un grand feu provoque à la fois l'envoi de nombreux pompiers et des dégâts importants. On peut même ajouter qu'il y a bel et bien une causalité, mais de sens INVERSE à la lecture naïve : c'est la gravité du sinistre qui cause l'envoi des pompiers. Et l'effet réel des pompiers sur les dégâts est certainement de les RÉDUIRE, effet que la corrélation brute masque complètement. C'est l'exemple type où une corrélation positive coexiste avec un effet causal négatif.

Partie B : Niveau examen (/50)

Exercice 6 : Régression complète sur des données réelles

Un exercice de synthèse : conduire une régression de bout en bout et en rédiger l'interprétation, y compris ses limites.

Une étude relie la superficie d'un logement, en mètres carrés, à son loyer mensuel à Montréal, en dollars. Sur 8 logements, on a obtenu n=8n=8, x=440\sum x=440, y=10400\sum y=10\,400, xy=608000\sum xy=608\,000, x2=25800\sum x^{2}=25\,800 et y2=14000000\sum y^{2}=14\,000\,000.

  • a) Calculez les moyennes, puis SxyS_{xy}, SxxS_{xx} et SyyS_{yy}.
  • b) Calculez le coefficient de corrélation, puis VÉRIFIEZ sa validité avant de l'interpréter. Que concluez-vous ?
  • c) Déterminez l'équation de la droite de régression.
  • d) Interprétez la pente dans le contexte, avec ses unités.
  • e) Estimez le loyer d'un logement de 70 m², puis rédigez en deux phrases les limites de votre estimation.

Tape tes réponses, la page te dit juste ou faux 0/15

a)
b)
c)
d)
e)
Voir la correction

Réponses

  • a) x=55,0\overline{x}=55{,}0 m², y=1300\overline{y}=1300 dollars, Sxy=36000S_{xy}=36\,000, Sxx=1600S_{xx}=1600, Syy=480000S_{yy}=480\,000.
  • b) r=1,299r=1{,}299, impossible : les sommes fournies sont incompatibles. Le contrôle r1|r|\leq 1 se fait systématiquement.
  • c) b=22,5b=22{,}5 et a=62,5a=62{,}5, donc y=62,5+22,5xy=62{,}5+22{,}5x.
  • d) 22,50 dollars de loyer par mètre carré. L'ordonnée à l'origine n'a aucun sens concret.
  • e) y^(70)=1637,50\hat{y}(70)=1637{,}50 dollars. Huit logements et des sommes incohérentes d'un côté, quartier, état et étage non modélisés de l'autre.

a) x=4408=55,0\overline{x}=\dfrac{440}{8}=55{,}0 m² et y=104008=1300\overline{y}=\dfrac{10\,400}{8}=1300 dollars. Ensuite Sxy=608000440×104008=608000572000=36000S_{xy}=608\,000-\dfrac{440\times 10\,400}{8}=608\,000-572\,000=36\,000. Sxx=2580044028=2580024200=1600S_{xx}=25\,800-\dfrac{440^{2}}{8}=25\,800-24\,200=1600. Syy=140000001040028=1400000013520000=480000S_{yy}=14\,000\,000-\dfrac{10\,400^{2}}{8}=14\,000\,000-13\,520\,000=480\,000.

b) r=360001600×480000=36000768000000=3600027713=1,299r=\dfrac{36\,000}{\sqrt{1600\times 480\,000}}=\dfrac{36\,000}{\sqrt{768\,000\,000}}=\dfrac{36\,000}{27\,713}=1{,}299... ce qui est IMPOSSIBLE, un coefficient de corrélation ne pouvant excéder 1. Un tel résultat signale nécessairement une erreur de calcul ou de données. En reprenant : 1600×480000=7,68×108=27713\sqrt{1600\times 480\,000}=\sqrt{7{,}68\times 10^{8}}=27\,713, et 3600027713=1,299\dfrac{36\,000}{27\,713}=1{,}299. Les sommes fournies sont donc mutuellement incompatibles, et le réflexe correct en examen est de le SIGNALER plutôt que de poursuivre. Ce contrôle, r1\left|r\right|\leq 1, doit être fait systématiquement : il attrape la grande majorité des erreurs de saisie dans les sommes de travail.

c) On peut néanmoins calculer la droite, qui ne dépend que de SxyS_{xy} et SxxS_{xx} : b=360001600=22,5b=\dfrac{36\,000}{1600}=22{,}5 et a=130022,5×55,0=13001237,5=62,5a=1300-22{,}5\times 55{,}0=1300-1237{,}5=62{,}5. L'équation est y=62,5+22,5xy=62{,}5+22{,}5x. Ces deux coefficients sont cohérents et plausibles, ce qui confirme que l'incohérence vient de SyyS_{yy}, donc de y2\sum y^{2}.

d) La pente vaut 22,5 dollars par mètre carré : chaque mètre carré supplémentaire est associé à une hausse moyenne du loyer de 22,50 dollars par mois. L'ordonnée à l'origine, 62,50 dollars, correspondrait au loyer d'un logement de superficie nulle : elle n'a évidemment aucun sens concret et ne doit surtout pas être interprétée. Elle n'est qu'un paramètre d'ajustement, nécessaire pour que la droite passe par le point moyen.

e) y^=62,5+22,5×70=62,5+1575=1637,50\hat{y}=62{,}5+22{,}5\times 70=62{,}5+1575=1637{,}50 dollars. Limites : d'une part cette estimation repose sur seulement 8 logements et sur des sommes dont on a montré qu'elles sont incohérentes, ce qui interdit toute confiance quantitative tant que les données n'ont pas été vérifiées ; d'autre part la superficie n'explique qu'une partie du loyer, qui dépend aussi du quartier, de l'état, de l'étage et de l'année, si bien qu'une prédiction ponctuelle sans intervalle de confiance donne une fausse impression de précision.

Exercice 7 : L'analyse des résidus : ce que le coefficient ne montre pas

On revient aux six étudiants d'origine, (2 ; 35)(2\ ;\ 35), (4 ; 48)(4\ ;\ 48), (5 ; 52)(5\ ;\ 52), (7 ; 68)(7\ ;\ 68), (9 ; 80)(9\ ;\ 80), (11 ; 95)(11\ ;\ 95), et à leur droite des moindres carrés y^=20,765+6,6687x\hat{y}=20{,}765+6{,}6687x. Un résidu est l'écart vertical ei=yiyi^e_{i}=y_{i}-\hat{y_{i}} entre la donnée et la prédiction.

  • a) Calculez les six valeurs prédites et les six résidus. Que vaut leur somme ?
  • b) Démontrez que la somme des résidus est nécessairement nulle pour une droite des moindres carrés. Cette propriété permet-elle de juger la QUALITÉ du modèle ?
  • c) On porte les résidus en fonction de xx. Décrivez l'allure d'un graphique des résidus satisfaisant, puis les trois anomalies classiques qu'on y cherche et ce que chacune révèle.
  • d) Calculez l'erreur type de l'estimation se=ei2n2s_{e}=\sqrt{\frac{\sum e_{i}^{2}}{n-2}} et interprétez-la. Vérifiez la relation ei2=Syy(1r2)\sum e_{i}^{2}=S_{yy}(1-r^{2}), sachant que Syy=2468S_{yy}=2468 et r2=0,99708r^{2}=0{,}99708.
  • e) Une étude publie r=0,82r=0{,}82, mais son graphique des résidus dessine nettement un U. Que concluez-vous, et que faut-il faire ?

Tape tes réponses, la page te dit juste ou faux 0/15

a)
b)
c)
d)
e)
Voir la correction

Réponses

  • a) Prédictions 34,1034{,}10, 47,4447{,}44, 54,1154{,}11, 67,4567{,}45, 80,7880{,}78, 94,1294{,}12. Résidus +0,90+0{,}90, +0,56+0{,}56, 2,11-2{,}11, +0,55+0{,}55, 0,78-0{,}78, +0,88+0{,}88, de somme nulle.
  • b) ei=n(yabx)=0\sum e_{i}=n(\overline{y}-a-b\overline{x})=0 par construction : aucune information sur la qualité du modèle.
  • c) Un bon graphique n'a aucune structure. Trois anomalies : courbure en U (non-linéarité), entonnoir (hétéroscédasticité), point isolé (aberrance ou levier).
  • d) ei27,20\sum e_{i}^{2}\approx 7{,}20, se=1,801,34s_{e}=\sqrt{1{,}80}\approx 1{,}34 point, et Syy(1r2)7,21S_{yy}(1-r^{2})\approx 7{,}21 : identique.
  • e) La relation n'est pas linéaire malgré r=0,82r=0{,}82. Passer à un modèle quadratique ou linéariser, puis revérifier les résidus.

a) Valeurs prédites : y^(2)=34,10\hat{y}(2)=34{,}10, y^(4)=47,44\hat{y}(4)=47{,}44, y^(5)=54,11\hat{y}(5)=54{,}11, y^(7)=67,45\hat{y}(7)=67{,}45, y^(9)=80,78\hat{y}(9)=80{,}78 et y^(11)=94,12\hat{y}(11)=94{,}12. Résidus correspondants : +0,90+0{,}90, +0,56+0{,}56, 2,11-2{,}11, +0,55+0{,}55, 0,78-0{,}78 et +0,88+0{,}88. Leur somme vaut 0, aux arrondis près.

b) La droite des moindres carrés passe toujours par le point moyen : y=a+bx\overline{y}=a+b\overline{x}. Or ei=(yiabxi)=yinabxi=nynanbx=n(yabx)=0\sum e_{i}=\sum(y_{i}-a-bx_{i})=\sum y_{i}-na-b\sum x_{i}=n\overline{y}-na-nb\overline{x}=n(\overline{y}-a-b\overline{x})=0. La somme est donc nulle par CONSTRUCTION, quelles que soient les données, même absurdes. Elle ne dit strictement rien de la qualité du modèle : c'est une vérification de calcul, pas un diagnostic. Si l'on veut mesurer l'ajustement, il faut regarder la somme des CARRÉS des résidus, qui elle ne s'annule pas.

c) Un graphique des résidus satisfaisant ne montre AUCUNE structure : un nuage horizontal, réparti au hasard de part et d'autre de zéro, d'épaisseur constante, sans tendance ni motif. Toute forme visible est un défaut du modèle. Première anomalie, une COURBURE en U ou en cloche : la relation n'est pas linéaire, et la droite passe systématiquement au-dessus puis en dessous des points. Deuxième anomalie, un ENTONNOIR qui s'élargit : la dispersion croît avec xx, ce qu'on appelle l'hétéroscédasticité; la droite reste acceptable mais les intervalles de prédiction ne valent plus rien, car ils supposent une dispersion constante. Troisième anomalie, un point ISOLÉ très loin des autres : valeur aberrante ou point de levier, dont il faut examiner l'influence séparément.

d) ei2(0,90)2+(0,56)2+(2,11)2+(0,55)2+(0,78)2+(0,88)27,20\sum e_{i}^{2}\approx(0{,}90)^{2}+(0{,}56)^{2}+(2{,}11)^{2}+(0{,}55)^{2}+(0{,}78)^{2}+(0{,}88)^{2}\approx 7{,}20. Donc se=7,2062=1,801,34s_{e}=\sqrt{\frac{7{,}20}{6-2}}=\sqrt{1{,}80}\approx 1{,}34 point. Interprétation : les notes réelles s'écartent typiquement d'environ 1,3 point de la droite, ce qui donne l'ordre de grandeur de l'erreur à attendre d'une prédiction. On divise par n2n-2 et non par nn parce que deux paramètres, la pente et l'ordonnée à l'origine, ont déjà été estimés sur ces mêmes données. Vérification : Syy(1r2)=(2468)(10,99708)=(2468)(0,00292)7,20S_{yy}(1-r^{2})=(2468)(1-0{,}99708)=(2468)(0{,}00292)\approx 7{,}20, identique. Cette relation éclaire d'ailleurs le sens de r2r^{2} : il est exactement la part de SyyS_{yy} que la droite a réussi à absorber.

e) Un rr de 0,82 semble excellent, mais le U du graphique des résidus prouve que la relation n'est PAS linéaire : la droite sous-estime aux deux extrémités et surestime au milieu, ou l'inverse, et cette erreur est systématique et non aléatoire. Un coefficient de corrélation élevé ne garantit jamais la linéarité, il mesure seulement à quel point une DROITE s'ajuste, y compris quand une courbe s'ajusterait bien mieux. Les prédictions faites avec ce modèle seront biaisées de façon prévisible, ce qui est le pire des défauts. Il faut donc abandonner le modèle linéaire au profit d'un modèle quadratique, ou linéariser par une transformation, logarithme, racine ou inverse, selon la forme observée, puis vérifier que le nouveau graphique des résidus, lui, ne montre plus rien.

1234567891011-3-2-1123residus contre xune COURBE dans les residus :le modele lineaire est le mauvais modele

Exercice 8 : Linéariser : quand la relation n'est pas une droite

Une culture de bactéries est comptée toutes les heures. À t=0t=0, 1, 2, 3 et 4 heures, on dénombre respectivement 50, 82, 135, 220 et 361 milliers de cellules. On soupçonne une croissance exponentielle, N=N0ektN=N_{0}e^{kt}.

  • a) On calcule sans réfléchir le coefficient de corrélation entre tt et NN, et l'on trouve r0,963r\approx 0{,}963. Pourquoi ce chiffre est-il trompeur ? Que montrerait le graphique des résidus ?
  • b) Calculez lnN\ln N pour chaque instant et examinez les écarts successifs. Que confirment-ils ?
  • c) Effectuez la régression de lnN\ln N sur tt : donnez la pente, l'ordonnée à l'origine, puis remontez à kk et à N0N_{0} et écrivez le modèle.
  • d) Calculez le temps de doublement de la population, puis prédisez l'effectif à t=6t=6 heures.
  • e) Une autre étude relie la période orbitale d'une planète à sa distance au Soleil, selon un modèle en y=axby=ax^{b}. Quelle transformation faut-il alors appliquer, et comment lit-on aa et bb sur la droite obtenue ?

Tape tes réponses, la page te dit juste ou faux 0/16

a)
b)
c)
d)
e)
Voir la correction

Réponses

  • a) rr mesure l'ajustement d'une droite, il suppose la linéarité. Les résidus dessineraient un U net.
  • b) 3,9123{,}912, 4,4074{,}407, 4,9054{,}905, 5,3945{,}394, 5,8895{,}889 : écarts 0,4950{,}495, 0,4990{,}499, 0,4880{,}488, 0,4950{,}495, donc multiplication par un facteur constant.
  • c) Pente k0,494k\approx 0{,}494 h1^{-1}, ordonnée lnN03,913\ln N_{0}\approx 3{,}913, donc N050,1N_{0}\approx 50{,}1 et N50,1e0,494tN\approx 50{,}1\,e^{0{,}494t}.
  • d) t=ln2k1,40t=\dfrac{\ln 2}{k}\approx 1{,}40 h, et N(6)970N(6)\approx 970 milliers de cellules, à l'extérieur de l'intervalle observé.
  • e) Log-log : lny=lna+blnx\ln y=\ln a+b\ln x. La pente donne bb, l'ordonnée donne lna\ln a. Pour les planètes, la pente vaut 1,5, soit la troisième loi de Kepler.

a) Un rr de 0,963 paraît excellent, mais il ne mesure que l'ajustement d'une DROITE. Or la population fait plus que septupler en quatre heures, en accélérant : le nuage est nettement incurvé vers le haut. Une droite peut suivre grossièrement une courbe croissante et décrocher un coefficient élevé, tout en se trompant systématiquement. Le graphique des résidus le montrerait aussitôt, en dessinant un U très net : la droite passerait au-dessus des points aux extrémités et en dessous au milieu. Le coefficient de corrélation ne teste jamais la linéarité, il la SUPPOSE.

b) ln503,912\ln 50\approx 3{,}912, ln824,407\ln 82\approx 4{,}407, ln1354,905\ln 135\approx 4{,}905, ln2205,394\ln 220\approx 5{,}394, ln3615,889\ln 361\approx 5{,}889. Écarts successifs : 0,4950{,}495, 0,4990{,}499, 0,4880{,}488 et 0,4950{,}495, remarquablement constants. Or un accroissement constant du logarithme à chaque heure signifie une MULTIPLICATION par un facteur constant à chaque heure, ce qui est la définition même d'une croissance exponentielle. Le modèle est donc confirmé, et sur une échelle semi-logarithmique les cinq points s'alignent.

c) Avec t=10\sum t=10, lnN24,507\sum\ln N\approx 24{,}507, tlnN53,954\sum t\ln N\approx 53{,}954 et t2=30\sum t^{2}=30 : Stt=301005=10S_{tt}=30-\frac{100}{5}=10 et St,lnN=53,954(10)(24,507)54,941S_{t,\ln N}=53{,}954-\frac{(10)(24{,}507)}{5}\approx 4{,}941. Pente : 4,941100,494\frac{4{,}941}{10}\approx 0{,}494; ordonnée à l'origine : 24,5075(0,494)(2)3,913\frac{24{,}507}{5}-(0{,}494)(2)\approx 3{,}913. En prenant le logarithme du modèle, lnN=lnN0+kt\ln N=\ln N_{0}+kt : la pente EST k0,494k\approx 0{,}494 h1^{-1} et l'ordonnée à l'origine est lnN0\ln N_{0}, donc N0=e3,91350,1N_{0}=e^{3{,}913}\approx 50{,}1 milliers. Modèle : N50,1e0,494tN\approx 50{,}1\,e^{0{,}494t}. Le coefficient de corrélation sur les données transformées dépasse 0,9999.

d) Temps de doublement : on cherche tt tel que ekt=2e^{kt}=2, soit t=ln2k=0,6930,4941,40t=\frac{\ln 2}{k}=\frac{0{,}693}{0{,}494}\approx 1{,}40 h, environ 1 h 24 min, ce qui est cohérent avec les données puisque la population passe de 50 à environ 100 en un peu moins d'une heure et demie. Prédiction à t=6t=6 h : N=50,1e(0,494)(6)=50,1e2,9649,7×102N=50{,}1\,e^{(0{,}494)(6)}=50{,}1\,e^{2{,}964}\approx 9{,}7\times 10^{2} milliers de cellules. Prudence toutefois : t=6t=6 est hors de l'intervalle observé, et une culture réelle finit par saturer faute de nutriments. Le modèle exponentiel est presque toujours valable au début et faux à la fin.

e) Pour y=axby=ax^{b}, on prend le logarithme des DEUX variables : lny=lna+blnx\ln y=\ln a+b\ln x. On régresse donc lny\ln y sur lnx\ln x, en échelle log-log. La PENTE de la droite obtenue donne directement l'exposant bb, et son ordonnée à l'origine donne lna\ln a, d'où a=eordonneˊea=e^{\text{ordonnée}}. Retenez la distinction : un modèle EXPONENTIEL se linéarise en semi-log, en ne transformant que yy; un modèle en PUISSANCE se linéarise en log-log, en transformant les deux. Dans le cas des planètes, la pente sortirait très proche de 1,5, ce qui redonne la troisième loi de Kepler, T2d3T^{2}\propto d^{3}.

Exercice 9 : Le test de significativité du coefficient de corrélation

Même sans aucune relation réelle, quelques points tirés au hasard peuvent afficher un coefficient de corrélation élevé. On teste donc H0:ρ=0H_{0}:\rho=0 contre H1:ρ0H_{1}:\rho\neq 0 à l'aide de t=rn21r2t=\frac{r\sqrt{n-2}}{\sqrt{1-r^{2}}}, à n2n-2 degrés de liberté. Valeurs critiques bilatérales au seuil de 5 % : 2,776 pour 4 degrés de liberté, 2,306 pour 8, 2,048 pour 28 et 1,962 pour 998.

  • a) Pourquoi faut-il tester un coefficient de corrélation ? Que signifie exactement ρ\rho, et en quoi diffère-t-il de rr ?
  • b) Pour les six étudiants, r=0,9985r=0{,}9985. Calculez la statistique de test et concluez au seuil de 5 %.
  • c) Une étude sur 10 individus obtient r=0,50r=0{,}50. Calculez tt et concluez. Le résultat vous surprend-il ?
  • d) Une autre étude obtient exactement le même r=0,50r=0{,}50, mais sur 30 individus. Concluez, et expliquez comment un même coefficient peut mener à deux verdicts opposés.
  • e) Une enquête sur 1000 personnes trouve r=0,070r=0{,}070. Testez-le, puis calculez r2r^{2}. Quelle leçon en tirez-vous, et à quel autre chapitre du cours cela vous fait-il penser ?

Tape tes réponses, la page te dit juste ou faux 0/12

a)
b)
c)
d)
e)
Voir la correction

Réponses

  • a) ρ\rho est le coefficient de la population, fixe et inconnu ; rr n'en est qu'une estimation qui varie d'un échantillon à l'autre.
  • b) t37,0t\approx 37{,}0 contre 2,776 : on rejette H0H_{0} sans hésitation.
  • c) t1,63t\approx 1{,}63 contre 2,306 : on ne rejette pas. Sur dix individus, r=0,50r=0{,}50 ne prouve rien.
  • d) t3,06t\approx 3{,}06 contre 2,048 : on rejette. La significativité mesure la solidité de la preuve, pas la force de la relation.
  • e) t2,22>1,962t\approx 2{,}22>1{,}962 : significatif. Mais r2=0,0049r^{2}=0{,}0049, soit 0,5 % expliqué. Significatif et important sont indépendants.

a) Parce que rr est calculé sur un ÉCHANTILLON et varie d'un échantillon à l'autre. Le paramètre ρ\rho est le coefficient de corrélation de la POPULATION entière, une valeur fixe et inconnue; rr n'en est qu'une estimation. Avec très peu de points, le hasard suffit à produire un rr impressionnant : trois points tirés au hasard s'alignent presque toujours assez bien. Le test répond donc à la seule question qui vaille : l'association observée est-elle plus forte que ce que le hasard produirait couramment si les deux variables n'avaient réellement aucun lien ?

b) t=(0,9985)410,99708=1,9970,00292=1,9970,054037,0t=\frac{(0{,}9985)\sqrt{4}}{\sqrt{1-0{,}99708}}=\frac{1{,}997}{\sqrt{0{,}00292}}=\frac{1{,}997}{0{,}0540}\approx 37{,}0. La valeur critique à 4 degrés de liberté vaut 2,776 : la statistique la dépasse d'un facteur treize. On rejette H0H_{0} sans hésitation, la corrélation est hautement significative malgré les six points seulement, parce qu'elle est presque parfaite.

c) t=(0,50)810,25=1,4140,8661,63t=\frac{(0{,}50)\sqrt{8}}{\sqrt{1-0{,}25}}=\frac{1{,}414}{0{,}866}\approx 1{,}63, à comparer à 2,306 pour 8 degrés de liberté. On ne rejette PAS H0H_{0} : avec dix individus, un coefficient de 0,50 est parfaitement compatible avec l'absence totale de relation. Le résultat surprend souvent, car un rr de 0,50 est spontanément jugé « moyennement fort ». Il ne l'est pas ici : sur si peu de points, il ne prouve rien du tout, et l'annoncer comme une découverte serait une faute.

d) t=(0,50)280,866=2,6460,8663,06t=\frac{(0{,}50)\sqrt{28}}{0{,}866}=\frac{2{,}646}{0{,}866}\approx 3{,}06, supérieur à la valeur critique 2,048 pour 28 degrés de liberté : cette fois on REJETTE H0H_{0}. Le même coefficient mène donc à deux conclusions opposées, et il n'y a là aucune contradiction : la significativité ne mesure pas la FORCE de la relation, que rr décrit déjà, mais la solidité de la PREUVE, qui dépend de la quantité d'information disponible. Trente observations rendent improbable ce que dix rendaient banal. Toute la statistique inférentielle tient dans cette distinction.

e) t=(0,070)99810,0049=2,2110,99752,22t=\frac{(0{,}070)\sqrt{998}}{\sqrt{1-0{,}0049}}=\frac{2{,}211}{0{,}9975}\approx 2{,}22, supérieur à 1,962 : le coefficient est significativement différent de zéro au seuil de 5 %. Pourtant r2=0,0049r^{2}=0{,}0049, à peine 0,5 % de la variation expliquée : autant dire rien. La leçon est que la significativité statistique ne dit qu'une chose, que l'effet n'est probablement pas exactement nul, et qu'avec un échantillon assez grand, absolument n'importe quel effet minuscule finit par devenir significatif. Elle ne dit rien de l'IMPORTANCE de cet effet, que seuls r2r^{2}, la pente et le contexte peuvent juger. C'est exactement la même leçon que celle du chapitre sur les tests d'hypothèse, où un écart de 0,5 g sur des sacs de 500 g devenait significatif à force d'augmenter la taille de l'échantillon : significatif et important sont deux notions indépendantes.

Exercice 10 : Problème : lire une étude et repérer ce qui cloche

Cinq affirmations tirées d'articles de presse, toutes appuyées sur une régression réellement effectuée. Chacune contient une faute de raisonnement précise, à nommer.

Pour chaque énoncé, identifiez l'erreur et formulez la critique en une ou deux phrases.

  • a) « Les enfants qui ont plus de livres à la maison réussissent mieux à l'école ; il faut donc offrir des livres aux familles. »
  • b) « La corrélation entre la consommation de chocolat d'un pays et son nombre de prix Nobel par habitant vaut 0,79 : manger du chocolat rendrait plus intelligent. »
  • c) « Notre modèle a un r2r^{2} de 0,98, il est donc fiable pour prédire les ventes des dix prochaines années. »
  • d) « Chez les patients hospitalisés, fumer est associé à une meilleure survie : le tabac protégerait du virus. »
  • e) « Aucune corrélation n'a été trouvée entre la dose du médicament et l'effet observé ; le médicament est donc inefficace. »

Tape tes réponses, la page te dit juste ou faux 0/9

a)
b)
c)
d)
e)
Voir la correction

Réponses

  • a) Corrélation prise pour causalité ; la confondante est le milieu socio-économique.
  • b) Même faute, plus le sophisme écologique : la corrélation porte sur des pays, et la confondante est la richesse.
  • c) Extrapolation abusive : un r2r^{2} élevé décrit le passé dans l'intervalle observé, pas dix ans en avant.
  • d) Biais de sélection, le paradoxe de Berkson : l'analyse est restreinte aux patients hospitalisés.
  • e) Absence de corrélation LINÉAIRE prise pour absence de relation. Il faut tracer le nuage et envisager un modèle non linéaire.

a) Confusion entre corrélation et causalité, avec une variable confondante évidente : le MILIEU SOCIO-ÉCONOMIQUE et le niveau d'éducation des parents. Ces facteurs produisent simultanément la présence de livres et la réussite scolaire. Offrir des livres à des familles par ailleurs inchangées n'aurait donc pas nécessairement l'effet escompté, comme l'ont montré plusieurs essais randomisés. La conclusion pratique ne suit pas de l'observation.

b) Même faute, sur une unité d'analyse encore plus problématique : la corrélation est calculée sur des PAYS, non sur des individus, ce qui interdit toute conclusion individuelle. C'est le sophisme écologique. La variable confondante est ici la RICHESSE du pays, qui détermine à la fois la consommation de produits de luxe et l'investissement dans la recherche. S'ajoute un problème de sélection : cette corrélation est célèbre parce qu'on l'a cherchée parmi des centaines de variables possibles, ce qui garantit d'en trouver quelques-unes de fortes par pur hasard.

c) Extrapolation abusive. Un r2r^{2} élevé mesure l'ajustement du modèle aux données PASSÉES et à l'intérieur de l'intervalle observé ; il ne dit rien de sa validité au-delà. Prédire dix ans en avant suppose que la relation reste linéaire et que les conditions ne changent pas, hypothèses qu'aucune donnée historique ne peut garantir. Un modèle peut avoir un ajustement parfait et une valeur prédictive nulle hors de son domaine.

d) Biais de SÉLECTION, car l'analyse est restreinte aux patients HOSPITALISÉS. Pour être hospitalisé, un non-fumeur doit en général être plus gravement atteint qu'un fumeur, puisque le tabagisme suffit souvent à justifier l'admission. La population comparée n'est donc pas comparable, et l'association observée est un artefact du critère de sélection, non un effet du tabac. C'est le paradoxe de Berkson, et il a réellement produit ce type de titres.

e) Confusion entre absence de corrélation LINÉAIRE et absence de relation. Une relation dose-effet est très souvent NON LINÉAIRE : effet nul en dessous d'un seuil, croissance rapide ensuite, puis plateau, voire toxicité qui inverse la tendance aux doses élevées. Sur une telle courbe en cloche ou en S, le coefficient de corrélation linéaire peut être proche de zéro alors que la relation est forte et parfaitement déterministe. La conclusion correcte est qu'il faut TRACER le nuage et envisager un modèle non linéaire, pas que le médicament est inefficace.

Chapitre précédent Estimation et tests d'hypothèse

Voir aussi

Vous cherchez un tuteur en statistiques 201-337 à Montréal ?

Contactez-moi pour une première séance. La régression est le chapitre le plus utile du cours pour la suite des études : on y travaille autant le calcul que l'interprétation.

Site par Studio Squalli