Méthodes quantitatives 360-300 • Sciences humaines au cégep à Montréal

Fiche de révision : la marge d'erreur d'un sondage

Cette fiche traite le chiffre le plus cité et le plus mal compris de tout le cours : la marge d'erreur d'un sondage. Elle ne redonne pas la formule, elle donne les huit endroits où ce chiffre est appliqué à autre chose que ce qu'il mesure, et la phrase exacte qui répare chacun.

Elle s'adresse aux étudiants de Sciences humaines du cégep qui suivent le cours obligatoire 360-300, et elle sert à quiconque lit une soirée électorale. La série d'exercices corrigés du même chapitre reprend chaque calcul, du sous-groupe jusqu'à l'agrégation de plusieurs maisons.

Le fil du chapitre

La marge d'erreur ne couvre QUE l'erreur d'échantillonnage, et elle porte sur UN chiffre à la fois. Presque toutes les fautes du chapitre viennent de l'appliquer à un sous-groupe, à un écart ou à une évolution sans la recalculer.

Ce chapitre fait partie de Méthodes quantitatives en sciences humaines : tous les chapitres du 360-300

Avant ce chapitre

Cette fiche suppose ces notions acquises. Si une méthode ci-dessous reste opaque, c'est presque toujours l'une d'elles qui manque, pas la fiche.

Remonter plus loin : la chaîne complète (4 chapitres) ↓

Le chemin de remédiation, du plus ancien au plus proche. Un élève qui reprend ce chapitre de zéro le reprend dans cet ordre.

Notions couvertes

Marge d'erreur
Intervalle de confiance
Niveau de confiance
Erreur d'échantillonnage
Marge sur un sous-groupe
Écart entre deux candidats
Recouvrement d'intervalles
Correction de population finie
Comparaisons multiples
Effet de maison
Agrégation de sondages
Seuil de majorité

L'essentiel

Ce que la marge mesure, et ce qu'elle ignore

• $E=z\sqrt{\dfrac{p(1-p)}{n}}$ , avec $z=1{,}96$ à 95 %, le seuil dit « 19 fois sur 20 ».
• L'INTERVALLE est la quantité aléatoire, la vraie proportion est FIXE : 95 % des intervalles construits ainsi contiennent la cible.
• La marge ne couvre QUE l'erreur d'échantillonnage. Couverture, non-réponse, mode de collecte et formulation s'y ajoutent et la dépassent souvent.
• Approximation utile : marge en points $\approx \dfrac{100}{\sqrt{n}}$ pour $p$ voisin de $0{,}5$ .

Entre

p=0{,}34

p=0{,}66

, la courbe descend à peine de

3{,}10

2{,}94

points : c'est pourquoi une marge unique, calculée à

50

%, suffit à tout le sondage.

Aucune marge n'est calculable sans échantillon PROBABILISTE : sur un panel de volontaires, la formule tourne et le résultat ne veut rien dire.

Une marge par chiffre, jamais une marge pour tout

• SOUS-GROUPE : refaire le calcul avec l'effectif du sous-groupe. Un groupe NEUF fois plus petit a une marge TROIS fois plus grande.
• ÉCART entre deux candidats du MÊME sondage : $\text{Var}=\dfrac{p_{1}(1-p_{1})+p_{2}(1-p_{2})+2p_{1}p_{2}}{n}$ , et la marge sur l'écart vaut environ le DOUBLE de la marge ordinaire.
• Différence entre deux échantillons INDÉPENDANTS : les variances s'additionnent, sans terme de covariance.
• Le RECOUVREMENT de deux intervalles est un critère trop sévère : il faut l'intervalle de la DIFFÉRENCE, et regarder s'il contient zéro.

Les intervalles de A et de B se chevauchent largement, et l'intervalle de leur écart contient encore zéro : l'avance de quatre points n'est pas établie.

Le terme $2p_{1}p_{2}$ vient de ce que les deux proportions sont NÉGATIVEMENT corrélées : un répondant gagné par l'un est perdu par l'autre.

Les deux corrections et les deux pièges de lecture

• Correction de POPULATION FINIE : multiplier la marge par $\sqrt{\dfrac{N-n}{N-1}}$ , utile dès que $n$ dépasse environ 5 % de $N$ .
• Franchir un SEUIL fixé d'avance, $50$ % ou deux tiers : c'est la BORNE INFÉRIEURE de l'intervalle qui doit dépasser le seuil.
• COMPARAISONS MULTIPLES : au seuil de 5 %, une comparaison sur vingt conclut à tort. Sur $66$ comparaisons, on en attend $3{,}3$ fausses.
• EFFET DE MAISON : chaque firme a un biais propre et systématique; agréger plusieurs sondages réduit l'erreur d'échantillonnage, jamais ce biais-là.

Agréger dix sondages de mille personnes ne donne pas la précision d'un sondage de dix mille : les biais communs, eux, ne se moyennent pas.

Les pièges qui coûtent des points

Les erreurs ci-dessous sont celles que je corrige le plus souvent en séance. Chacune coûte des points sur une copie, même quand le raisonnement est juste.

1. Dire que la vraie valeur a 95 % de chances d'être dans l'intervalle

1 point de formulation, retiré à chaque conclusion

Ce qu'il ne faut pas écrire

« Il y a $95$ % de chances que la proportion réelle soit entre $38{,}9$ et $45{,}1$ %. »

Ce qu'il faut écrire

« Si l'on refaisait le sondage un grand nombre de fois, $95$ % des intervalles ainsi construits contiendraient la proportion réelle. »

Pourquoi : La proportion réelle est un nombre FIXE, inconnu mais non aléatoire. Ce qui varie d'un sondage à l'autre, c'est l'intervalle, et c'est donc lui que la probabilité décrit.

2. Croire que la marge couvre tous les défauts du sondage

1,5 point, et c'est la critique que l'examen attend

Ce qu'il ne faut pas écrire

« La marge est de $3{,}1$ points : l'erreur totale ne dépasse donc pas trois points. »

Ce qu'il faut écrire

« La marge ne couvre que l'erreur d'ÉCHANTILLONNAGE. La non-réponse, la couverture et la formulation ajoutent une erreur qui n'est pas chiffrée et qui la dépasse souvent. »

Pourquoi : La formule ne connaît que $n$ et $p$ : elle ne peut décrire que la variabilité du tirage. Tout le reste est un biais, et un biais ne diminue pas quand l'échantillon grandit.

3. Appliquer la marge globale à un sous-groupe

2 points, et une conclusion sur les jeunes qui ne tient pas

Ce qu'il ne faut pas écrire

« Chez les 18-24 ans, $55$ % sont favorables, à $3{,}1$ points près. »

Ce qu'il faut écrire

« Ce sous-groupe ne compte que $110$ répondants : sa marge vaut $1{,}96\sqrt{\dfrac{0{,}55\times 0{,}45}{110}}\approx 9{,}3$ points, donc de $45{,}7$ à $64{,}3$ %. »

1\,000

110

répondants, la marge passe de

3{,}1

9{,}3

points : le rapport des marges est la racine du rapport des effectifs.

Pourquoi : La marge dépend de $\sqrt{n}$ : neuf fois moins de monde triple la marge. C'est la faute la plus fréquente des commentaires de sondage.

4. Comparer l'écart de deux candidats à la marge ordinaire

toute la conclusion, et c'est la question type de la soirée électorale

Ce qu'il ne faut pas écrire

« A mène $42$ contre $38$ : l'écart de $4$ points dépasse la marge de $3{,}1$ , l'avance est réelle. »

Ce qu'il faut écrire

« L'écart a sa PROPRE marge, environ le double : $5{,}5$ points ici. L'intervalle de l'écart va de $-1{,}5$ à $9{,}5$ points, donc il contient zéro. »

Pourquoi : Un répondant gagné par A est souvent perdu par B : les deux proportions sont négativement corrélées, ce que traduit le terme $2p_{1}p_{2}$ dans la variance de l'écart.

5. Conclure à l'égalité parce que les intervalles se recouvrent

1,5 point, et une conclusion parfois inversée

Ce qu'il ne faut pas écrire

« Les intervalles de A et de B se chevauchent : les deux candidats sont à égalité. »

Ce qu'il faut écrire

« Le recouvrement est un critère TROP SÉVÈRE. Il faut construire l'intervalle de la DIFFÉRENCE et regarder s'il contient zéro : ce n'est pas la même chose. »

Pourquoi : Deux intervalles peuvent se chevaucher légèrement alors que l'intervalle de la différence exclut zéro. Le recouvrement fait donc manquer des écarts réels.

6. Annoncer une majorité à 51 %

2 points, et la question porte souvent exactement là-dessus

Ce qu'il ne faut pas écrire

« Le camp du oui obtient $51$ % : il est majoritaire. »

Ce qu'il faut écrire

« Avec une marge de $3{,}1$ points, l'intervalle va de $47{,}9$ à $54{,}1$ % : la BORNE INFÉRIEURE ne dépasse pas $50$ %, donc la majorité n'est pas établie. »

Pourquoi : Franchir un seuil fixé d'avance se juge sur la borne du bon côté, jamais sur l'estimation ponctuelle. C'est la même logique qu'un intervalle qui doit exclure zéro.

7. Oublier la correction de population finie

1 point, et une précision sous-estimée

Ce qu'il ne faut pas écrire

« $1\,000$ répondants sur les $4\,000$ étudiants du cégep : la marge vaut $3{,}1$ points. »

Ce qu'il faut écrire

« L'échantillon fait $25$ % de la population : on multiplie par $\sqrt{\dfrac{4000-1000}{3999}}\approx 0{,}866$ , donc la marge tombe à $2{,}7$ points. »

Pourquoi : Chaque personne interrogée retire de l'incertitude sur celles qui restent. Si l'on interrogeait toute la population, la marge tomberait à zéro, ce que la formule non corrigée ne sait pas.

8. Conclure sur la plus grande différence d'un tableau de comparaisons

toute la conclusion régionale

Ce qu'il ne faut pas écrire

« Parmi les $66$ comparaisons régionales, celle-ci est significative à 5 % : la région se démarque. »

Ce qu'il faut écrire

« Sur $66$ comparaisons au seuil de 5 %, on en attend $3{,}3$ significatives par pur hasard. Il faut corriger le seuil, ou annoncer que l'analyse est exploratoire. »

Pourquoi : Choisir la plus grande différence APRÈS avoir regardé les soixante-six revient à faire soixante-six tests et à n'en rapporter qu'un : le seuil réel n'a plus rien à voir avec 5 %.

Quelle méthode choisir

Quelle marge faut-il calculer ?

On regarde SUR QUOI porte l'affirmation à vérifier, et sur combien de personnes elle repose.

Si un seul pourcentage, sur tout l'échantillon → marge ordinaire $E=z\sqrt{\dfrac{p(1-p)}{n}}$ , avec le $n$ total

Exemple : $42$ % sur $1\,000$ répondants, soit $3{,}1$ points
Si un pourcentage dans un SOUS-GROUPE → même formule, mais avec l'effectif DU SOUS-GROUPE

Exemple : $55$ % chez $110$ jeunes, soit $9{,}3$ points
Si l'écart entre DEUX candidats du même sondage → variance avec le terme $2p_{1}p_{2}$ , marge environ DOUBLE

Exemple : $4$ points d'écart, marge de $5{,}5$ points
Si la différence entre deux VAGUES ou deux échantillons indépendants → additionner les deux variances, sans terme de covariance

Exemple : deux sondages de mille personnes à un mois d'écart
Si on veut savoir si un SEUIL est franchi → comparer la BORNE de l'intervalle au seuil, jamais l'estimation

Exemple : $51$ % avec une borne basse à $47{,}9$ %

Si l'échantillon n'est pas probabiliste, aucune branche ne s'applique : le dire EST la réponse attendue.

Cette conclusion est-elle permise ?

On confronte l'affirmation du texte à ce que l'intervalle autorise réellement.

Si l'intervalle de l'écart contient zéro → on ne peut PAS conclure à une avance : dire « les deux candidats sont statistiquement à égalité »

Exemple : écart de $4$ points, intervalle de $-1{,}5$ à $9{,}5$
Si l'intervalle de l'écart exclut zéro → l'avance est établie, et on donne l'INTERVALLE de cette avance

Exemple : écart de $8$ points, intervalle de $2{,}5$ à $13{,}5$
Si la borne inférieure dépasse le seuil visé → le seuil est franchi, et on peut l'annoncer

Exemple : $56$ % avec une borne basse à $52{,}9$ %
Si le résultat vient d'un sous-groupe non prévu au départ → signaler l'exploration et la marge propre au sous-groupe

Exemple : une seule région sur douze

Une avance non significative n'est pas une égalité prouvée : elle signifie que le sondage ne tranche pas, ce qui est une troisième réponse et non un match nul.

La rédaction attendue

Le correcteur coche des étapes. Les voici dans l'ordre, avec la phrase de conclusion qu'il attend mot pour mot.

Rédiger un intervalle de confiance sur une proportion

Quand l'utiliser : Dès que l'énoncé donne un pourcentage et un effectif, et demande la précision ou la portée du résultat.

1 Vérifier et dire que l'échantillon est PROBABILISTE, sans quoi le calcul n'a pas lieu d'être.
2 Écrire $p$ , $n$ et le $z$ du niveau de confiance annoncé.
3 Calculer $E=z\sqrt{\dfrac{p(1-p)}{n}}$ et l'exprimer en POINTS de pourcentage.
4 Donner l'intervalle $[p-E\ ;p+E]$ avec ses deux bornes.
5 Formuler la conclusion en parlant des INTERVALLES et non de la vraie valeur.

Phrase de conclusion

« Avec $p=0{,}42$ sur $1\,000$ répondants tirés au sort, la marge est de $3{,}1$ points au niveau de confiance de 95 % : l'intervalle va de $38{,}9$ à $45{,}1$ %. Si l'on répétait le sondage, $95$ % des intervalles ainsi construits contiendraient la proportion réelle. »

Le piège : Écrire « il y a 95 % de chances que la vraie valeur soit dans l'intervalle » : c'est la formulation que le correcteur sanctionne.

Barème : 1 point pour le caractère probabiliste, 1 point pour la formule, 1 point pour les bornes, 1 point pour la formulation.

Trancher un écart entre deux candidats

Quand l'utiliser : Quand l'énoncé demande si l'avance d'un candidat est réelle.

1 Écrire les deux proportions et l'effectif du sondage, et rappeler qu'elles viennent du MÊME échantillon.
2 Calculer la variance de l'écart avec le terme $2p_{1}p_{2}$ .
3 En déduire la marge sur l'écart, et la comparer à la marge ordinaire pour montrer qu'elle vaut environ le double.
4 Construire l'intervalle de l'écart et regarder s'il contient ZÉRO.
5 Conclure en trois mots exacts : avance établie, ou sondage qui ne tranche pas.

Phrase de conclusion

« L'écart observé est de $4$ points et sa marge de $5{,}5$ points : l'intervalle va de $-1{,}5$ à $9{,}5$ points et contient zéro. Le sondage ne permet donc pas de conclure à une avance de A sur B. »

Le piège : Conclure « les deux candidats sont à égalité » : le sondage ne tranche pas, ce qui n'est pas la même chose que de démontrer l'égalité.

Barème : 1 point pour la variance de l'écart, 1 point pour la marge, 1 point pour l'intervalle, 1 point pour la conclusion nuancée.

Vérifier avant de rendre

Cinq minutes de vérification récupèrent plus de points qu'un exercice de plus commencé à la hâte.

L'approximation en un coup d'œil

Pour $p$ voisin de $0{,}5$ , la marge en points vaut environ $\dfrac{100}{\sqrt{n}}$ . Elle confirme ou infirme tout calcul en trois secondes.

$\dfrac{100}{\sqrt{1000}}\approx 3{,}2$ , très proche des $3{,}1$ exacts.
La marge d'un sous-groupe est toujours plus grande

Comparer la marge annoncée pour un sous-groupe à celle du sondage entier : elle doit être supérieure, dans le rapport des racines des effectifs.

$110$ contre $1\,000$ : le rapport des marges doit valoir environ $3$ .
La marge sur un écart vaut environ le double

Diviser la marge de l'écart par la marge ordinaire : on doit trouver un nombre proche de $2$ , jamais $1$ ni $4$ .

$\dfrac{5{,}5}{3{,}1}\approx 1{,}8$ : l'ordre de grandeur est bon.
Le seuil se juge sur la borne

Avant d'annoncer qu'un seuil est franchi, souligner la borne inférieure de l'intervalle et la comparer au seuil.

$51$ % moins $3{,}1$ points donne $47{,}9$ % : la majorité n'est pas établie.

L'exercice type décortiqué

La soirée électorale, du sondage global au sous-groupe

Un sondage probabiliste de $1\,000$ répondants donne $42$ % au candidat A, $38$ % au candidat B et $20$ % au candidat C.

Chez les $110$ répondants de 18 à 24 ans, $55$ % soutiennent A.

On demande la marge sur chaque chiffre, si l'avance de A est établie, et si A est majoritaire chez les jeunes.

Étape 1

Marge annoncée, calculée à $p=0{,}5$ : $1{,}96\sqrt{\dfrac{0{,}25}{1000}}\approx 3{,}10$ points. Sur A précisément : $3{,}06$ points.

Pourquoi

Les deux nombres diffèrent de quatre centièmes de point : c'est pourquoi les firmes annoncent une marge unique calculée au pire cas, celui de $p=0{,}5$ .

Étape 2

Intervalle pour A : de $38{,}9$ à $45{,}1$ %. Intervalle pour B : de $34{,}9$ à $41{,}1$ %.

Pourquoi

Les deux intervalles se chevauchent, mais ce constat ne suffit pas : le recouvrement est un critère trop sévère et ne remplace pas l'intervalle de l'écart.

Étape 3

Variance de l'écart : $\dfrac{0{,}42(0{,}58)+0{,}38(0{,}62)+2(0{,}42)(0{,}38)}{1000}=0{,}000798$ , donc une marge de $5{,}54$ points.

Pourquoi

Le terme $2p_{1}p_{2}$ compte pour $40$ % de la variance : sans lui, la marge tomberait à $4{,}3$ points et la conclusion pourrait s'inverser.

Étape 4

Intervalle de l'écart : $4\pm 5{,}54$ , soit de $-1{,}5$ à $9{,}5$ points. Il contient zéro.

Pourquoi

L'avance de quatre points n'est donc pas établie. C'est la réponse attendue, et elle contredit la lecture spontanée du tableau.

Étape 5

Sous-groupe des 18-24 ans : $1{,}96\sqrt{\dfrac{0{,}55(0{,}45)}{110}}\approx 9{,}30$ points, soit de $45{,}7$ à $64{,}3$ %.

Pourquoi

Neuf fois moins de répondants triplent la marge. L'intervalle contient encore $50$ %, donc la majorité chez les jeunes n'est pas établie non plus.

Étape 6

Si la population n'était que de $4\,000$ personnes, la marge globale serait multipliée par $\sqrt{\dfrac{3000}{3999}}\approx 0{,}866$ , soit $2{,}68$ points.

Pourquoi

Cette correction ne s'applique pas à un électorat de plusieurs millions, mais elle change tout sur une enquête menée dans un seul cégep.

Conclusion rédigée

« Avec une marge de $3{,}1$ points, A est estimé entre $38{,}9$ et $45{,}1$ %. L'écart de quatre points sur B a une marge propre de $5{,}5$ points et son intervalle contient zéro : le sondage ne permet pas de conclure à une avance. Chez les 18-24 ans, la marge atteint $9{,}3$ points et la majorité n'est pas établie davantage. »

L'erreur classique sur cet exercice : Comparer les quatre points d'écart aux $3{,}1$ points de la marge annoncée : c'est la marge d'UN pourcentage, pas celle d'un écart, et elle est presque deux fois trop petite ici.

À savoir par cœur

• $E=z\sqrt{\dfrac{p(1-p)}{n}}$ , avec $z=1{,}96$ à 95 %. Approximation : $\dfrac{100}{\sqrt{n}}$ points pour $p$ voisin de $0{,}5$ .
• C'est l'INTERVALLE qui est aléatoire, jamais la vraie proportion : $95$ % des intervalles construits ainsi contiennent la cible.
• La marge ne couvre QUE l'erreur d'échantillonnage. Non-réponse, couverture et formulation s'y ajoutent sans être chiffrées.
• SOUS-GROUPE : on recalcule avec SON effectif. Neuf fois plus petit, trois fois plus de marge.
• ÉCART entre deux candidats du même sondage : marge environ DOUBLE, à cause du terme $2p_{1}p_{2}$ .
• Le RECOUVREMENT de deux intervalles est trop sévère : c'est l'intervalle de la DIFFÉRENCE qui décide, selon qu'il contient zéro ou non.
• Franchir un seuil se juge sur la BORNE de l'intervalle, jamais sur l'estimation ponctuelle.

Questions fréquentes

Que veut dire une marge d'erreur de 3 points, 19 fois sur 20 ?

Que si l'on refaisait le même sondage un grand nombre de fois, dans dix-neuf cas sur vingt l'intervalle construit autour du résultat contiendrait la proportion réelle. La proportion réelle est un nombre fixe : ce qui varie d'un sondage à l'autre, c'est l'intervalle. La formulation compte, et elle est au barème.

Pourquoi la marge est-elle plus grande pour un sous-groupe ?

Parce qu'elle dépend de la racine carrée de l'effectif. Un sous-groupe de cent dix personnes dans un sondage de mille a une marge trois fois plus grande, soit environ neuf points au lieu de trois. C'est pourquoi les commentaires sur les jeunes, sur une région ou sur une profession sont presque toujours plus fragiles qu'ils n'en ont l'air.

Comment savoir si l'avance d'un candidat est réelle ?

On calcule la marge propre à l'écart, qui vaut environ le double de la marge ordinaire parce que les deux proportions sont négativement corrélées. On construit ensuite l'intervalle de cet écart : s'il contient zéro, le sondage ne permet pas de conclure à une avance. Comparer l'écart à la marge d'un seul pourcentage est une faute.

Deux intervalles qui se recouvrent signifient-ils une égalité ?

Non. Le recouvrement est un critère trop sévère : deux intervalles peuvent se chevaucher légèrement alors que l'intervalle de leur différence exclut zéro, donc que l'écart est bien établi. C'est toujours l'intervalle de la différence qui tranche, et lui seul.

Un sondage à 51 pour cent annonce-t-il une majorité ?

Pas nécessairement. Avec mille répondants, la marge est d'environ trois points, donc l'intervalle va de 47,9 à 54,1 pour cent. La borne inférieure ne dépasse pas cinquante, si bien que la majorité n'est pas établie. Franchir un seuil fixé d'avance se juge toujours sur la borne, jamais sur l'estimation.

Passer à la pratique

Exercices corrigés : La marge d'erreur d'un sondage

Une méthode se prouve sur une copie, pas sur une fiche. La série du même chapitre reprend chacun de ces pièges dans un exercice, avec le corrigé rédigé étape par étape.

10 exercices corrigés
100 points
150 minutes

Faire les exercices

Fiche précédente Tableaux croisés, khi-deux et association Fiche suivante Devis de recherche et lecture critique

Ce chapitre resservira dans

Les chapitres qui le réclament en amont, plus tard dans l'année ou dans les années suivantes.

Devis de recherche et lecture critique Comparer deux groupes : test t et taille d'effetMéthodes quantitatives avancées (360-301)

Voir aussi

Toutes les fiches Tous les exercices Échantillonnage et questionnaire (360-300)Estimation et tests d'hypothèse (201-337)Tutorat au cégep à Montréal

Vous cherchez un tuteur en méthodes quantitatives à Montréal ?

Contactez-moi pour une première séance. Les méthodes quantitatives sont le seul cours de mathématiques obligatoire en sciences humaines, et c'est aussi celui qui décide le plus souvent de la cote R d'une session.

Me contacter WhatsApp

Site par Studio Squalli