Exercices corrigés : corrélation et régression linéaire (201-337)

a) Le nuage est nettement CROISSANT : les notes augmentent avec le nombre d'heures d'étude. Les points sont très proches d'une droite, sans courbure visible et sans valeur aberrante : la relation est linéaire et paraît très forte. Cette lecture préalable est indispensable, car elle valide l'emploi du coefficient de corrélation linéaire.

b) $\sum x=2+4+5+7+9+11=38$. $\sum y=35+48+52+68+80+95=378$. $\sum xy=70+192+260+476+720+1045=2763$. $\sum x^{2}=4+16+25+49+81+121=296$. $\sum y^{2}=1225+2304+2704+4624+6400+9025=26\,282$.

c) $S_{xy}=2763-\dfrac{38\times 378}{6}=2763-2394=369$. $S_{xx}=296-\dfrac{38^{2}}{6}=296-240{,}667=55{,}333$. $S_{yy}=26\,282-\dfrac{378^{2}}{6}=26\,282-23\,814=2468$.

d) $r=\dfrac{S_{xy}}{\sqrt{S_{xx}S_{yy}}}=\dfrac{369}{\sqrt{55{,}333\times 2468}}=\dfrac{369}{369{,}54}=0{,}9985$. La corrélation est POSITIVE, donc les deux variables varient dans le même sens, et sa valeur absolue est extrêmement proche de 1 : la relation linéaire est presque parfaite. Un tel coefficient est rare sur des données réelles ; il indique ici des données construites ou un phénomène très régulier.

e) NON, et c'est le piège classique. Un $r$ proche de zéro signifie seulement qu'il n'y a pas de relation LINÉAIRE. Il peut parfaitement exister une relation forte mais courbe : sur un nuage en forme de parabole symétrique, par exemple $y=x^{2}$ avec des $x$ répartis symétriquement autour de zéro, le coefficient vaut exactement 0 alors que $y$ est entièrement déterminé par $x$. C'est précisément pourquoi on TRACE le nuage avant de calculer : le coefficient seul ne peut pas distinguer « pas de relation » de « relation non linéaire ».

a) $b=\dfrac{S_{xy}}{S_{xx}}=\dfrac{369}{55{,}333}=6{,}669$. Puis $a=\overline{y}-b\overline{x}=63{,}0-6{,}669\times 6{,}333=63{,}0-42{,}235=20{,}765$. L'équation est donc $y=20{,}77+6{,}67x$.

b) La PENTE signifie qu'une heure d'étude hebdomadaire supplémentaire est associée à une hausse moyenne de 6,67 points sur la note. L'ORDONNÉE À L'ORIGINE, 20,77, correspondrait à la note d'un étudiant travaillant zéro heure. Ce nombre est à manier avec prudence : $x=0$ est en dehors de l'intervalle observé, qui va de 2 à 11 heures, et il s'agit donc d'une extrapolation. On peut y voir un ordre de grandeur plausible, mais le modèle ne le garantit pas.

c) Le point moyen est $\left(6{,}333\ ;\ 63{,}0\right)$. En y injectant l'équation : $20{,}765+6{,}669\times 6{,}333=20{,}765+42{,}235=63{,}0$. La droite passe bien par le point moyen, ce qui n'est pas une coïncidence mais une conséquence directe de la formule $a=\overline{y}-b\overline{x}$, laquelle est construite pour cela. C'est un contrôle rapide et systématique à faire sur toute régression.

d) « Moindres carrés » signifie que la droite retenue est celle qui rend MINIMALE la somme $\sum\left(y_{i}-\hat{y}_{i}\right)^{2}$, où $\hat{y}_{i}$ est la valeur prédite. On ne minimise pas les écarts bruts parce que leur somme est NULLE pour une infinité de droites, les écarts positifs compensant les négatifs : le critère ne sélectionnerait rien. Élever au carré empêche cette compensation, pénalise davantage les gros écarts que les petits, et conduit à des formules explicites simples, ce qui n'est pas le cas si l'on minimise les valeurs absolues.

e) La valeur prédite pour $x=5$ vaut $\hat{y}=20{,}765+6{,}669\times 5=54{,}11$. Le résidu est $y-\hat{y}=52-54{,}11=-2{,}11$. Son signe NÉGATIF signifie que cet étudiant a obtenu une note INFÉRIEURE à celle que le modèle prédisait pour son temps d'étude : il se situe sous la droite. C'est d'ailleurs le plus grand résidu en valeur absolue des six, donc le point le moins bien ajusté du nuage.

a) $r^{2}=0{,}9985^{2}=0{,}9971$, soit 99,7 %. Interprétation : 99,7 % de la variation observée des notes est EXPLIQUÉE par la relation linéaire avec le nombre d'heures d'étude. C'est un ajustement exceptionnellement bon.

b) Les 0,3 % restants représentent la variation RÉSIDUELLE, c'est-à-dire tout ce que le temps d'étude ne rend pas compte : les aptitudes individuelles, la qualité de l'étude et non sa seule durée, la forme le jour de l'examen, la part de hasard dans le choix des questions, ainsi que les erreurs de mesure. Aucun modèle statistique ne prétend expliquer 100 % d'un phénomène humain, et un $r^{2}$ de 1,000 sur des données réelles serait d'ailleurs suspect.

c) $\hat{y}=20{,}765+6{,}669\times 8=20{,}765+53{,}35=74{,}1$. La prédiction est d'environ 74. Elle est LÉGITIME parce que 8 heures se situe à l'intérieur de l'intervalle des données observées, entre 2 et 11 : il s'agit d'une interpolation.

d) $\hat{y}=20{,}765+6{,}669\times 20=20{,}765+133{,}37=154{,}1$. La prédiction dépasse 100 : elle est IMPOSSIBLE, puisque la note est bornée à 100. La prédiction n'est donc pas légitime, et pour une raison de fond : $x=20$ est bien au-delà de l'intervalle observé, on EXTRAPOLE. Rien dans les données ne garantit que la relation reste linéaire au-delà de 11 heures ; en réalité elle plafonne nécessairement.

e) $\hat{y}=20{,}765+6{,}669\times 30=220{,}8$, soit plus du double du maximum possible. L'absurdité du résultat est ici une bonne nouvelle : elle rend l'erreur VISIBLE. Le vrai danger de l'extrapolation, c'est le cas où elle produit un nombre plausible, que rien ne signale comme faux. La règle est donc de ne jamais prédire hors de l'intervalle des $x$ observés, et de toujours indiquer cet intervalle de validité à côté de l'équation. Un modèle linéaire n'est qu'une approximation LOCALE d'une relation qui, dans la réalité, sature presque toujours.

a) NON. Le coefficient mesure uniquement à quel point les deux séries varient ensemble ; il ne contient aucune information sur le mécanisme qui les relie. Conclure à la causalité à partir d'un $r$ élevé est une faute de raisonnement, quelle que soit la valeur du coefficient.

b) Quatre explications sont en concurrence, et les données seules ne permettent pas de trancher entre elles. Premièrement, $x$ cause $y$. Deuxièmement, $y$ cause $x$, c'est-à-dire la causalité inverse. Troisièmement, une TROISIÈME VARIABLE, dite confondante, cause les deux simultanément. Quatrièmement, il peut s'agir d'une coïncidence due au hasard de l'échantillonnage, d'autant plus plausible que l'échantillon est petit ou qu'on a comparé un grand nombre de séries jusqu'à en trouver deux qui coïncident.

c) La variable confondante est la TEMPÉRATURE, ou plus largement la saison. Quand il fait chaud, les gens achètent davantage de crème glacée ; et quand il fait chaud, ils se baignent davantage, ce qui augmente mécaniquement le nombre d'occasions de noyade. Les deux séries montent et descendent ensemble au fil de l'année parce qu'elles sont toutes deux commandées par la même cause, sans qu'aucun lien direct ne les unisse. Supprimer toute la crème glacée de la ville ne changerait rien au nombre de noyades.

d) Par une EXPÉRIENCE CONTRÔLÉE avec assignation ALÉATOIRE : on répartit les sujets au hasard entre un groupe exposé et un groupe témoin, puis on compare. La randomisation garantit que les deux groupes ne diffèrent, en moyenne, que par le facteur manipulé, y compris pour les variables confondantes que l'on n'a pas identifiées, ce qui est son avantage décisif. Quand l'expérience est impossible ou contraire à l'éthique, comme ici, on se rabat sur des études observationnelles où l'on CONTRÔLE statistiquement les variables connues, par exemple en examinant la corrélation à température constante, laquelle disparaîtrait dans notre cas.

e) L'analyse est du même type, mais avec une nuance instructive. Il serait absurde de conclure que les pompiers causent les dégâts. La variable confondante est ici l'AMPLEUR INITIALE de l'incendie : un grand feu provoque à la fois l'envoi de nombreux pompiers et des dégâts importants. On peut même ajouter qu'il y a bel et bien une causalité, mais de sens INVERSE à la lecture naïve : c'est la gravité du sinistre qui cause l'envoi des pompiers. Et l'effet réel des pompiers sur les dégâts est certainement de les RÉDUIRE, effet que la corrélation brute masque complètement. C'est l'exemple type où une corrélation positive coexiste avec un effet causal négatif.

a) $\overline{x}=\dfrac{440}{8}=55{,}0$ m² et $\overline{y}=\dfrac{10\,400}{8}=1300$ dollars. Ensuite $S_{xy}=608\,000-\dfrac{440\times 10\,400}{8}=608\,000-572\,000=36\,000$. $S_{xx}=25\,800-\dfrac{440^{2}}{8}=25\,800-24\,200=1600$. $S_{yy}=14\,000\,000-\dfrac{10\,400^{2}}{8}=14\,000\,000-13\,520\,000=480\,000$.

b) $r=\dfrac{36\,000}{\sqrt{1600\times 480\,000}}=\dfrac{36\,000}{\sqrt{768\,000\,000}}=\dfrac{36\,000}{27\,713}=1{,}299$... ce qui est IMPOSSIBLE, un coefficient de corrélation ne pouvant excéder 1. Un tel résultat signale nécessairement une erreur de calcul ou de données. En reprenant : $\sqrt{1600\times 480\,000}=\sqrt{7{,}68\times 10^{8}}=27\,713$, et $\dfrac{36\,000}{27\,713}=1{,}299$. Les sommes fournies sont donc mutuellement incompatibles, et le réflexe correct en examen est de le SIGNALER plutôt que de poursuivre. Ce contrôle, $\left|r\right|\leq 1$, doit être fait systématiquement : il attrape la grande majorité des erreurs de saisie dans les sommes de travail.

c) On peut néanmoins calculer la droite, qui ne dépend que de $S_{xy}$ et $S_{xx}$ : $b=\dfrac{36\,000}{1600}=22{,}5$ et $a=1300-22{,}5\times 55{,}0=1300-1237{,}5=62{,}5$. L'équation est $y=62{,}5+22{,}5x$. Ces deux coefficients sont cohérents et plausibles, ce qui confirme que l'incohérence vient de $S_{yy}$, donc de $\sum y^{2}$.

d) La pente vaut 22,5 dollars par mètre carré : chaque mètre carré supplémentaire est associé à une hausse moyenne du loyer de 22,50 dollars par mois. L'ordonnée à l'origine, 62,50 dollars, correspondrait au loyer d'un logement de superficie nulle : elle n'a évidemment aucun sens concret et ne doit surtout pas être interprétée. Elle n'est qu'un paramètre d'ajustement, nécessaire pour que la droite passe par le point moyen.

e) $\hat{y}=62{,}5+22{,}5\times 70=62{,}5+1575=1637{,}50$ dollars. Limites : d'une part cette estimation repose sur seulement 8 logements et sur des sommes dont on a montré qu'elles sont incohérentes, ce qui interdit toute confiance quantitative tant que les données n'ont pas été vérifiées ; d'autre part la superficie n'explique qu'une partie du loyer, qui dépend aussi du quartier, de l'état, de l'étage et de l'année, si bien qu'une prédiction ponctuelle sans intervalle de confiance donne une fausse impression de précision.

a) Confusion entre corrélation et causalité, avec une variable confondante évidente : le MILIEU SOCIO-ÉCONOMIQUE et le niveau d'éducation des parents. Ces facteurs produisent simultanément la présence de livres et la réussite scolaire. Offrir des livres à des familles par ailleurs inchangées n'aurait donc pas nécessairement l'effet escompté, comme l'ont montré plusieurs essais randomisés. La conclusion pratique ne suit pas de l'observation.

b) Même faute, sur une unité d'analyse encore plus problématique : la corrélation est calculée sur des PAYS, non sur des individus, ce qui interdit toute conclusion individuelle. C'est le sophisme écologique. La variable confondante est ici la RICHESSE du pays, qui détermine à la fois la consommation de produits de luxe et l'investissement dans la recherche. S'ajoute un problème de sélection : cette corrélation est célèbre parce qu'on l'a cherchée parmi des centaines de variables possibles, ce qui garantit d'en trouver quelques-unes de fortes par pur hasard.

c) Extrapolation abusive. Un $r^{2}$ élevé mesure l'ajustement du modèle aux données PASSÉES et à l'intérieur de l'intervalle observé ; il ne dit rien de sa validité au-delà. Prédire dix ans en avant suppose que la relation reste linéaire et que les conditions ne changent pas, hypothèses qu'aucune donnée historique ne peut garantir. Un modèle peut avoir un ajustement parfait et une valeur prédictive nulle hors de son domaine.

d) Biais de SÉLECTION, car l'analyse est restreinte aux patients HOSPITALISÉS. Pour être hospitalisé, un non-fumeur doit en général être plus gravement atteint qu'un fumeur, puisque le tabagisme suffit souvent à justifier l'admission. La population comparée n'est donc pas comparable, et l'association observée est un artefact du critère de sélection, non un effet du tabac. C'est le paradoxe de Berkson, et il a réellement produit ce type de titres.

e) Confusion entre absence de corrélation LINÉAIRE et absence de relation. Une relation dose-effet est très souvent NON LINÉAIRE : effet nul en dessous d'un seuil, croissance rapide ensuite, puis plateau, voire toxicité qui inverse la tendance aux doses élevées. Sur une telle courbe en cloche ou en S, le coefficient de corrélation linéaire peut être proche de zéro alors que la relation est forte et parfaitement déterministe. La conclusion correcte est qu'il faut TRACER le nuage et envisager un modèle non linéaire, pas que le médicament est inefficace.