Exercice 1 : Ce que « 3 points, 19 fois sur 20 » veut dire
La phrase figure au bas de chaque sondage publié et presque personne ne la lit correctement. Elle contient trois affirmations, dont une seule concerne le résultat annoncé.
Un sondage de 1 067 répondants donne 42 % d'intentions de vote au parti A, avec une marge de plus ou moins 3 points, 19 fois sur 20.
- a) Vérifiez la marge annoncée avec et .
- b) Écrivez l'intervalle de confiance et énoncez ce qu'il signifie exactement.
- c) « 19 fois sur 20 » : sur quoi porte cette probabilité ? Sur la vraie valeur ou sur l'intervalle ?
- d) Un lecteur conclut : « il y a 95 % de chances que le parti A soit entre 39 % et 45 % ». Que reprocher à cette phrase, et quelle nuance sépare l'interprétation fréquentiste de la formulation courante ?
- e) La marge annoncée couvre-t-elle l'erreur de couverture et la non-réponse ?
Voir la correction
Réponses
- a) , soit points : la marge annoncée est exacte
- b) ; la propriété porte sur la PROCÉDURE, pas sur cet intervalle-ci
- c) Sur l'intervalle, seule quantité aléatoire ; la vraie valeur est fixe et inconnue
- d) Elle inverse le sujet de la probabilité ; l'erreur est vénielle, un bayésien trouverait presque le même intervalle
- e) Non : elle ignore couverture, non-réponse, mode, formulation et ordre des choix
a) , soit 3,0 points. La marge annoncée est donc exacte, et l'on remarque qu'elle est calculée avec ; la maison aurait pu utiliser , ce qui aurait donné 3,0 points également, la différence étant invisible au dixième près.
b) Intervalle : . Ce qu'il signifie : si l'on répétait ce sondage un très grand nombre de fois, avec la même méthode et la même taille, 95 % des intervalles ainsi construits contiendraient la vraie proportion de la population. La propriété porte sur la PROCÉDURE, pas sur cet intervalle-ci en particulier.
c) La probabilité porte sur l'INTERVALLE, qui est la quantité aléatoire, et non sur la vraie valeur, qui est un nombre fixe et inconnu. Dans le cadre fréquentiste, la vraie proportion ne « tombe » nulle part : elle est où elle est. C'est l'intervalle qui varie d'un échantillon à l'autre, et l'on garantit que 19 fois sur 20 il attrapera sa cible. L'image du lancer d'anneaux est utile : l'anneau bouge, le piquet est fixe.
d) La phrase inverse le sujet de la probabilité, en attribuant 95 % de chances à la position de la vraie valeur alors qu'elle est fixe. En pratique, l'erreur est vénielle : le résultat numérique est le même, et les statisticiens bayésiens obtiendraient, avec une information préalable neutre, un intervalle de crédibilité presque identique dont l'interprétation serait précisément celle du lecteur. La nuance vaut malgré tout d'être connue, parce qu'elle explique pourquoi un intervalle ne dit rien de la probabilité qu'un parti dépasse 45 % : cette question demande un autre cadre.
e) Non, et c'est la limite la plus importante de tout le chapitre. La marge d'erreur ne mesure QUE la variabilité due au tirage au sort de l'échantillon dans une base de sondage parfaite, avec un taux de réponse de 100 %. Elle ignore la sous-couverture, la non-réponse, l'effet du mode de collecte, la formulation de la question et l'ordre des choix. Les post-mortem d'élections ratées montrent régulièrement que ces sources dépassent la marge d'échantillonnage, et c'est pourquoi un écart de sondage à résultat de quatre ou cinq points reste possible même quand tout le monde a fait son travail correctement.