Exercices corrigés : échantillonnage et questionnaire (360-300)

a) La POPULATION VISÉE est l'ensemble des unités sur lesquelles on veut conclure, ici décidé par la question de recherche et non par les moyens disponibles. La BASE DE SONDAGE est la liste concrète dans laquelle le tirage a lieu. La SOUS-COUVERTURE désigne les membres de la population visée absents de la base : ils ont une probabilité NULLE d'être choisis, quoi qu'on fasse ensuite. La SURCOUVERTURE désigne les éléments de la base qui n'appartiennent pas à la population visée : doublons, unités périmées, personnes hors champ. Le sondage ne parle rigoureusement que de l'intersection, la zone du milieu du schéma, et tout ce qui est dit au-delà repose sur un pari.

b) Sous-couverture : les adultes sans ligne fixe, c'est-à-dire aujourd'hui la majorité des moins de 45 ans, les ménages récemment déménagés, une partie des locataires et des personnes à faible revenu. Surcouverture : les numéros attribués à des commerces, les lignes hors service et les résidents de moins de 18 ans qui décrochent. Le groupe le plus mal représenté est de loin celui des JEUNES ADULTES, dont l'exclusion est quasi systématique : comme leurs opinions diffèrent souvent de celles des aînés sur les sujets politiques et sociaux, l'erreur produite est orientée et non aléatoire. C'est la raison pour laquelle les instituts sérieux combinent aujourd'hui lignes fixes, cellulaires et panels, avec des taux d'inclusion connus pour chaque source.

c) La liste d'automne ignore les étudiants inscrits pour la première fois à la session d'hiver, et conserve ceux qui ont abandonné entre les deux sessions. On obtient donc simultanément de la sous-couverture, les nouveaux, et de la surcouverture, les partis. Le défaut est particulièrement gênant si l'enquête porte sur la persévérance : les abandons, surreprésentés dans la base, sont précisément les plus difficiles à joindre, si bien que l'erreur de couverture et la non-réponse jouent dans le même sens.

d) Non, elles ne sont pas égales : le ménage à deux lignes a deux chances d'être tiré, donc une probabilité approximativement double. Un plan probabiliste n'exige pas que les probabilités soient ÉGALES, il exige qu'elles soient CONNUES et non nulles. On corrige donc au moment de l'analyse, en donnant à chaque unité un poids inversement proportionnel à sa probabilité d'inclusion : le ménage à deux lignes compte pour un demi. C'est le même principe qui régit les plans stratifiés à taux de sondage inégaux.

e) Non. Phrase à retenir : agrandir l'échantillon multiplie les répondants qu'on avait déjà les moyens de joindre, et ne fait apparaître personne dans une liste où il ne figure pas. Une probabilité d'inclusion nulle reste nulle quel que soit le nombre de tirages. Augmenter $n$ réduit l'erreur ALÉATOIRE, en $\dfrac{1}{\sqrt{n}}$; l'erreur de couverture est SYSTÉMATIQUE et ne dépend que de la base. Le seul remède est de changer de base ou d'en combiner plusieurs.

a) ALÉATOIRE SIMPLE : chaque membre de la base a la même probabilité d'être tiré et tout groupe de taille $n$ est également possible. SYSTÉMATIQUE : on tire au hasard un point de départ parmi les $k$ premiers, puis on prend une unité sur $k$ dans la liste. STRATIFIÉ : on découpe d'abord la population en groupes homogènes et exhaustifs, les strates, puis on tire dans CHACUNE. EN GRAPPES : on découpe la population en blocs naturels, on tire des BLOCS, et l'on relève tout le monde à l'intérieur des blocs retenus. La différence décisive entre les deux derniers tient dans le schéma : le stratifié tire dans tous les groupes, le plan en grappes tire des groupes.

b) Pas du systématique : $k=\dfrac{6\,200}{300}\approx 20{,}67$, arrondi à 20, ce qui donnera un échantillon légèrement plus grand que 300 et que l'on ajuste à la fin. Allocation proportionnelle : $0{,}38\times 300=114$, $0{,}24\times 300=72$, $0{,}18\times 300=54$, $0{,}12\times 300=36$, $0{,}08\times 300=24$. La somme fait bien 300, et c'est la vérification à faire systématiquement, car un arrondi mal placé est l'erreur la plus fréquente sur ce type de question.

c) Le stratifié gagne parce que la variance totale se décompose en variance INTRA-strate et variance INTER-strates : en imposant les bons effectifs dans chaque strate, on élimine complètement la part d'erreur due au hasard de la composition, et il ne reste que la variabilité à l'intérieur des strates. Le gain est d'autant plus grand que les strates sont homogènes en interne et différentes entre elles. Le plan en grappes subit exactement le mécanisme inverse : les membres d'une même grappe se ressemblent, une classe, un immeuble, un quartier, si bien que le douzième élève d'une classe déjà interrogée apporte beaucoup moins d'information neuve qu'un élève tiré au hasard dans tout le cégep. On paie donc en précision ce que l'on économise en déplacements.

d) Le rapport 1,9 est l'EFFET DE PLAN. La taille effective vaut $n_{eff}=\dfrac{336}{1{,}9}\approx 177$ élèves : les 336 élèves regroupés en 12 classes valent, en précision, environ 177 élèves tirés au hasard un par un. C'est le nombre à utiliser dans toute formule de marge d'erreur, sous peine d'annoncer une précision que l'enquête n'a pas. Réciproquement, pour obtenir la précision d'un aléatoire simple de 336, il faudrait ici $336\times 1{,}9\approx 638$ élèves en grappes.

e) Le tirage systématique devient dangereux quand la liste contient une PÉRIODICITÉ dont le pas est un multiple ou un diviseur de $k$. Exemple précis : une liste d'élèves rangée classe par classe, chaque classe comptant exactement 30 noms et le premier nom de chaque classe étant celui du délégué; avec un pas de 30, on n'interroge que des délégués. Autre exemple classique : un relevé de ventes quotidien échantillonné un jour sur sept, qui tombe toujours le même jour de la semaine. La parade consiste à vérifier l'ordre de la liste avant de tirer, ou à la désordonner volontairement.

a) QUOTAS : on impose à l'enquêteur de remplir des cases, par exemple 40 femmes de 18 à 34 ans, et il recrute qui il veut pour les remplir. ACCIDENTEL, ou de convenance : on interroge les personnes disponibles, à la sortie d'un centre commercial, dans sa propre classe, sur un réseau social. PAR CHOIX RAISONNÉ : le chercheur sélectionne délibérément des cas jugés informatifs, cas typiques, cas extrêmes, cas contrastés, ce qui est courant en recherche qualitative. BOULE DE NEIGE : les premiers participants recrutent les suivants dans leur réseau, procédé réservé aux populations rares ou difficiles à joindre.

b) La seule différence est le mode de sélection À L'INTÉRIEUR des groupes : le plan stratifié tire AU HASARD dans chaque strate, le plan par quotas laisse l'enquêteur CHOISIR qui remplit la case. La conséquence est totale : sans tirage aléatoire, aucune probabilité d'inclusion n'est connue, donc aucune théorie de l'échantillonnage ne s'applique, donc ni marge d'erreur ni intervalle de confiance ne sont calculables. Et le choix de l'enquêteur n'est jamais neutre : à quotas identiques, il abordera les personnes disponibles, avenantes, présentes aux heures ouvrables. La structure sera juste et la sélection biaisée.

c) La boule de neige se justifie ici parce qu'il n'existe aucune base de sondage des personnes en situation d'itinérance : ni liste, ni adresse, ni ligne téléphonique, et une méfiance légitime envers les institutions. Le réseau des participants est alors le seul chemin d'accès. Ce qu'il risque de manquer : précisément les personnes ISOLÉES, sans réseau, qui sont souvent les plus vulnérables, ainsi que les segments qui n'entrent jamais en contact avec les premiers recrutés, par exemple les femmes hébergées chez des tiers plutôt que dans la rue. La méthode explore le réseau, pas la population, et le rapport doit le dire.

d) « Échantillon accidentel de 96 étudiants inscrits à trois groupes de méthodes quantitatives du cégep, à la session d'hiver. » Ce qui change n'est pas cosmétique : la formulation nomme le plan, donc annonce l'absence de marge d'erreur, et elle nomme la population réellement atteinte, qui n'est pas le cégep mais les inscrits d'un cours donné. Les résultats restent publiables et instructifs; ils décrivent ces 96 étudiants et suggèrent des hypothèses, ils n'estiment rien.

e) Il faut répondre que la pondération corrige la COMPOSITION observable et jamais la SÉLECTION. Repondérer par âge, sexe, région et scolarité aligne les proportions de l'échantillon sur celles du recensement, ce qui est utile; mais à l'intérieur de chaque case, les volontaires d'un panel restent des volontaires, c'est-à-dire des gens plus intéressés par les sondages, plus disponibles et souvent plus politisés que ceux qu'ils sont censés représenter. Aucune variable de pondération ne mesure cette différence, et pondérer sur davantage de variables ne fait que déplacer le problème. Un panel bien conduit est un bon outil de comparaison dans le temps, avec un mode constant; il ne devient pas pour autant un échantillon probabiliste.

a) Pour $E=0{,}03$ : $n=\dfrac{1{,}96^{2}\times 0{,}25}{0{,}03^{2}}=\dfrac{0{,}9604}{0{,}0009}\approx 1\,067$. Pour $E=0{,}02$ : $n=\dfrac{0{,}9604}{0{,}0004}\approx 2\,401$. Le rapport vaut $\dfrac{2401}{1067}\approx 2{,}25=\left(\dfrac{3}{2}\right)^{2}$ : diviser la marge par 1,5 multiplie l'effectif par 1,5 au carré. La marge décroît en $\dfrac{1}{\sqrt{n}}$, donc l'effectif croît comme le carré de la précision exigée, et c'est ce qui rend les enquêtes très précises hors de prix.

b) Parce que $p(1-p)$ est MAXIMALE en $p=0{,}5$. En effet $0{,}5\times 0{,}5=0{,}25$ alors que $0{,}2\times 0{,}8=0{,}16$. La fonction $p\mapsto p(1-p)$ est une parabole tournée vers le bas, de racines 0 et 1, donc de sommet à mi-chemin. Choisir $p=0{,}5$ revient donc à se placer dans le cas le plus défavorable : la taille obtenue garantit la marge voulue quelle que soit la vraie proportion. C'est une décision prudente, pas une estimation.

c) $n=\dfrac{1{,}96^{2}\times 0{,}16}{0{,}0009}=\dfrac{0{,}614656}{0{,}0009}\approx 683$. L'information préalable fait passer l'exigence de 1 067 à 683 répondants, soit environ 384 questionnaires économisés, près du tiers du budget. Attention au piège de calcul : le 0,9604 de la question a) contient déjà le $p(1-p)=0{,}25$, on ne le multiplie donc pas par 0,16, on repart de $1{,}96^{2}=3{,}8416$. Attention aussi au fond : si la vraie proportion s'avérait proche de 0,5, la marge réelle serait bien plus large que 3 points. On ne prend ce risque que lorsque l'estimation préalable est solide.

d) $n_{c}=\dfrac{1067}{1+\dfrac{1066}{6200}}=\dfrac{1067}{1{,}17194}\approx 910$. La correction fait économiser environ 157 répondants, parce qu'un tirage sans remise dans une population de 6 200 épuise une part non négligeable de l'information disponible. La règle usuelle est de l'appliquer dès que l'échantillon dépasse environ 5 % de la population, ce qui est largement le cas ici avec 17 %.

e) La règle des 10 % n'a aucun fondement. Au cégep, 10 % de 6 200 font 620 répondants, davantage que les 910 corrigés ne l'exigent pas mais bien plus que les 171 suffisants si la proportion attendue est basse; à l'échelle du Québec, 10 % feraient 680 000 personnes pour une précision que 1 067 suffisent à atteindre. Le point à faire comprendre est que la marge d'erreur dépend de $n$ et pratiquement pas de $N$ dès que la population est grande : c'est la taille absolue de l'échantillon qui compte, pas sa part. Une cuillerée suffit à goûter la soupe, que la marmite soit petite ou grande, pourvu qu'on ait remué.

a) Les poids valent $\dfrac{3720}{6200}=0{,}60$, $\dfrac{1860}{6200}=0{,}30$ et $\dfrac{620}{6200}=0{,}10$. L'allocation proportionnelle donne donc $180$, $90$ et $30$ questionnaires. La somme fait 300, et chaque strate est représentée dans l'échantillon comme elle l'est dans la population.

b) Produits $N_{h}s_{h}$ : $3720\times 4=14\,880$, $1860\times 6=11\,160$, $620\times 9=5\,580$. Leur somme vaut $31\,620$. Allocation de Neyman : $300\times \dfrac{14880}{31620}\approx 141$, $300\times \dfrac{11160}{31620}\approx 106$, $300\times \dfrac{5580}{31620}\approx 53$. La somme fait bien 300 aux arrondis près.

c) Le Tremplin DEC reçoit 30 questionnaires en proportionnelle et 53 en Neyman, soit près du double. La logique proportionnelle ne regarde que le POIDS de la strate : petite strate, petit effectif. La logique de Neyman regarde le poids ET la DISPERSION : une strate très hétérogène, ici $s=9$ heures contre 4 ailleurs, demande plus d'observations pour être estimée avec la même précision, sans quoi elle dégrade l'estimation globale. Autrement dit, on investit les questionnaires là où l'incertitude est la plus grande, exactement comme on consacre plus de temps de révision au chapitre le moins maîtrisé.

d) Il faut $n=\dfrac{1{,}96^{2}\times 0{,}25}{0{,}08^{2}}=\dfrac{0{,}9604}{0{,}0064}\approx 150$ répondants dans le Tremplin DEC seul, et la correction de population finie sur $N_{h}=620$ ramène ce nombre à $\dfrac{150}{1+\dfrac{149}{620}}\approx 121$. Aucune des deux allocations précédentes n'y suffit : on passe alors à une allocation dite optimale sous contrainte, en fixant d'abord les 121 du Tremplin puis en répartissant les 179 restants entre les deux autres secteurs. La strate est dès lors SURREPRÉSENTÉE par rapport à son poids réel, et il faudra pondérer les répondants à l'analyse pour retrouver un portrait global correct.

e) Parce que les deux objectifs demandent des choses opposées. Estimer le CÉGEP dans son ensemble avec le moins d'erreur possible pousse à allouer selon le poids et la dispersion, donc à donner peu de questionnaires aux petites strates, dont la contribution à la moyenne générale est faible. COMPARER les secteurs exige au contraire un effectif suffisant DANS CHACUN, y compris dans le plus petit, puisque la précision d'une comparaison est gouvernée par le plus petit des deux groupes. Une enquête qui poursuit les deux objectifs doit donc les hiérarchiser explicitement, puis rétablir les poids au moment de l'analyse : c'est le rôle des poids d'échantillonnage.

a) C'est une question À DOUBLE BARILLET : elle en pose deux, sur la situation et sur les équipements. Un répondant qui juge le cégep bien situé mais mal équipé ne peut répondre ni oui ni non, et l'analyste ne saura jamais à laquelle des deux le « oui » se rapporte. Réécriture : deux questions distinctes, « Le cégep est-il bien situé ? » et « Les équipements du cégep sont-ils adéquats ? », chacune sur une échelle à quatre ou cinq niveaux. La règle générale se repère à l'oreille : dès qu'un « et » ou un « ou » relie deux objets d'évaluation, il faut couper.

b) Premier problème, la question est ORIENTÉE : « ne pensez-vous pas » et « raisonnable » suggèrent la réponse attendue, et une part des répondants suit la suggestion par politesse. Second problème, elle est LIÉE : elle attache la hausse des frais à une amélioration présentée comme certaine, ce qui interdit d'être contre la hausse sans paraître contre les services. Réécriture neutre : « Seriez-vous favorable ou défavorable à une augmentation des frais de 60 dollars par session ? », avec une échelle symétrique de favorable à défavorable et une modalité « ne sait pas ». Le montant chiffré remplace utilement l'adjectif, qui n'a pas la même valeur pour tous.

c) Premier défaut, les modalités ne sont pas MUTUELLEMENT EXCLUSIVES : un étudiant qui étudie exactement 5 heures peut cocher deux cases, et le total des pourcentages n'aura plus de sens. Second défaut, elles ne sont pas EXHAUSTIVES : personne ne peut répondre pour 15 à 20 heures, intervalle purement et simplement absent. Correction : « 0 à moins de 5 », « 5 à moins de 10 », « 10 à moins de 15 », « 15 à moins de 20 », « 20 et plus ». Les bornes sont désormais sans recouvrement et couvrent tout l'intervalle possible, y compris zéro.

d) Il faut redouter un EFFET D'ORDRE, ou effet de contamination : la première question active le souvenir des difficultés et abaisse la satisfaction déclarée juste après. On y remédie de trois façons : placer les questions générales AVANT les questions spécifiques, séparer les deux blocs par des questions sans rapport, et surtout faire tourner l'ordre des blocs d'un répondant à l'autre, ce qu'un questionnaire en ligne permet gratuitement. La rotation ne supprime pas l'effet, elle le rend mesurable en le répartissant également.

e) C'est le biais de DÉSIRABILITÉ SOCIALE : avouer une tricherie coûte, même anonymement, et la proportion déclarée sous-estimera la réalité. Trois techniques la réduisent. L'anonymat réel et visible, avec un mode auto-administré plutôt qu'un entretien. La formulation qui banalise, du type « Il arrive à beaucoup d'étudiants de... vous est-il déjà arrivé de... ». Et la technique de la RÉPONSE ALÉATOIRE : le répondant lance secrètement une pièce et répond à la question sensible seulement si elle tombe sur face, sinon il répond oui d'office; comme la proportion de piles est connue, on retrouve la proportion cherchée par le calcul sans jamais savoir ce qu'a répondu une personne donnée.

a) Taux de réponse : $\dfrac{420}{1200}=0{,}35$, soit 35 %. À lui seul, il ne permet de conclure à AUCUN biais : il mesure le risque, pas l'erreur. Un taux de 35 % est parfaitement sans conséquence si les 780 absents pensent comme les 420 présents, et catastrophique s'ils en diffèrent. Ce que le taux annonce, c'est la taille du levier : plus il est bas, plus une petite différence entre répondants et non-répondants suffit à déplacer le résultat.

b) L'échantillon des 80 relancés estime les non-répondants à 38 % de satisfaction. La proportion d'ensemble s'obtient par moyenne pondérée : $0{,}35\times 0{,}62+0{,}65\times 0{,}38=0{,}217+0{,}247=0{,}464$, soit environ 46,4 %. Il faut voir que le poids de 0,65 accordé aux non-répondants écrase presque le résultat des répondants : quand deux tiers de l'échantillon manquent, ce sont eux qui décident.

c) L'estimation naïve annonce 62 % contre 46,4 % en réalité, soit une surestimation de 15,6 points. La formule générale s'écrit $\text{biais}=\left(1-t\right)\left(\overline{y}_{r}-\overline{y}_{nr}\right)$, où $t$ est le taux de réponse : ici $0{,}65\times \left(0{,}62-0{,}38\right)=0{,}65\times 0{,}24=0{,}156$. La formule dit tout : le biais est le produit de la part manquante par l'écart entre les deux groupes, et il s'annule si l'un des deux facteurs s'annule. C'est pourquoi une enquête à 95 % de réponse est robuste même si les absents diffèrent beaucoup, et une enquête à 20 % ne l'est jamais.

d) Oui, et exactement dans le rapport des parts manquantes : le biais devient $0{,}30\times 0{,}24=0{,}072$, soit 7,2 points au lieu de 15,6. La réduction vaut $\dfrac{0{,}072}{0{,}156}\approx 0{,}46$, donc plus de la moitié du biais a disparu, uniquement parce que la part manquante est passée de 65 % à 30 %. Relancer est ainsi la seule action qui agisse directement sur le biais, alors qu'augmenter l'envoi initial sans améliorer le taux ne changerait rien du tout.

e) Elle ne le corrige pas, sauf coïncidence. La pondération par âge et programme rétablit la STRUCTURE de l'échantillon; elle ne corrigerait le biais que si la non-réponse dépendait uniquement de l'âge et du programme, c'est-à-dire si, à âge et programme donnés, répondants et non-répondants avaient la même satisfaction. Or l'insatisfaction est très probablement une CAUSE directe de la non-réponse, et le désengagement n'est pas une variable du fichier administratif. La pondération traiterait donc un symptôme observable en laissant intacte la cause. La seule correction sérieuse est celle que l'exercice a faite : aller mesurer un sous-échantillon aléatoire de non-répondants, puis recomposer les deux parties.

1) FAUX. La marge d'erreur dépend de $n$, et de $N$ seulement par la correction de population finie, qui est négligeable dès que l'échantillon représente moins de 5 % de la population. Avec 1 000 personnes, la marge vaut environ 3,1 points au Québec comme au Canada, comme aux États-Unis. Énoncé correct : la précision d'un sondage dépend du nombre de personnes interrogées, pas de la proportion de la population qu'elles représentent, tant que cette proportion reste faible.

2) FAUX, ou plus exactement non démontré. Un taux de 78 % est excellent et réduit fortement le risque, puisque le biais de non-réponse s'écrit $\left(1-t\right)\left(\overline{y}_{r}-\overline{y}_{nr}\right)$ et que le premier facteur ne vaut plus que 0,22. Mais la représentativité ne se déduit d'aucun taux : elle se vérifie en comparant l'échantillon à ce qu'on connaît de la population, et surtout en allant mesurer un sous-échantillon de non-répondants. Énoncé correct : un taux de 78 % rend le biais de non-réponse peu probable et faible; il ne le mesure pas.

3) FAUX. Les quotas imposent la COMPOSITION de l'échantillon, la stratification impose la composition ET tire au hasard à l'intérieur de chaque groupe. C'est le tirage aléatoire, et lui seul, qui fournit les probabilités d'inclusion sans lesquelles aucune marge d'erreur n'est définie. Énoncé correct : l'échantillonnage par quotas est NON PROBABILISTE; il produit un échantillon de structure conforme, sans marge d'erreur calculable.

4) FAUX. Les élèves d'une même classe se ressemblent, donc chacun apporte moins d'information neuve qu'un élève tiré isolément : c'est l'effet de plan. Avec un effet de plan de 1,9, la taille effective tombe à environ 177, et la marge d'erreur correspond à celle-là, pas à 336. Énoncé correct : il faut diviser l'effectif par l'effet de plan avant tout calcul de marge, sous peine d'annoncer une précision d'environ 5,3 points là où l'enquête n'en offre que 7,4.

5) FAUX. Les questions ouvertes ont leur usage, en exploration ou en fin de questionnaire, mais elles ne suppriment pas l'influence : elles la déplacent vers ce que le répondant a en tête sur le moment, elles favorisent les plus scolarisés, elles font chuter le taux de réponse et elles obligent à un codage a posteriori qui réintroduit les catégories du chercheur, cette fois sans que personne ne puisse les critiquer. Énoncé correct : on construit des modalités exhaustives, mutuellement exclusives et équilibrées, avec une modalité « autre, précisez » et une modalité « ne sait pas », et on réserve l'ouvert au petit nombre de questions qui l'exigent vraiment.

a) La meilleure base disponible est le fichier des inscrits de la session en cours, tenu par le registrariat : il est exhaustif, à jour, et il porte déjà l'âge, le programme, le secteur et le régime d'études, qui serviront de variables de stratification et de pondération. Défaut résiduel : les étudiants inscrits mais ayant abandonné en cours de session y figurent encore, et ceux qui viennent d'arriver par transfert peuvent en être absents quelques semaines. La surcouverture est ici la plus gênante, car les décrocheurs sont à la fois surreprésentés dans la base et quasi injoignables, ce qui alimentera la non-réponse.

b) Un plan STRATIFIÉ avec allocation proportionnelle, éventuellement corrigée pour les petites strates. Strates retenues : le secteur, préuniversitaire, technique et tremplin, croisé avec le régime, temps plein et temps partiel. Justification : ces variables sont connues pour toute la base, elles sont fortement liées aux trois thèmes de l'enquête, et la stratification garantit qu'aucun secteur ne sera accidentellement absent. Le plan en grappes par groupes-classes serait moins coûteux si l'on passait en classe, mais son effet de plan gaspillerait la moitié de l'échantillon, ce qui est inutile pour une enquête en ligne où le coût marginal d'un envoi est nul.

c) Il faut $\dfrac{400}{0{,}32}=1\,250$ sollicitations. Marge globale avec $n=400$ et $p=0{,}5$ : $E=1{,}96\sqrt{\dfrac{0{,}25}{400}}=1{,}96\times 0{,}025=0{,}049$, soit 4,9 points, ramenés à environ 4,7 points par la correction de population finie sur 6 200. C'est une précision honnête pour un portrait d'ensemble. Notez que le taux de 32 % laisse 68 % d'absents : le vrai risque de cette enquête n'est pas sa marge, c'est sa non-réponse, et le protocole doit prévoir dès le départ deux relances et une mesure sur un sous-échantillon de non-répondants.

d) Le sous-groupe représente 18 % de l'échantillon, soit environ $0{,}18\times 400=72$ répondants. La marge sur ce sous-groupe vaut $1{,}96\sqrt{\dfrac{0{,}25}{72}}\approx 0{,}1155$, soit 11,6 points : c'est nettement au-delà des 8 points visés. Pour atteindre 8 points, il faudrait $\dfrac{0{,}9604}{0{,}0064}\approx 150$ répondants dans ce sous-groupe, donc soit porter l'échantillon total à environ 833 répondants, soit suréchantillonner délibérément les gros travailleurs, ce qui suppose de connaître leur statut avant l'envoi. Comme cette information n'est pas au fichier du registrariat, la seule voie praticable est d'augmenter l'échantillon global, ou d'accepter une marge de 11,6 points sur ce sous-groupe et de le dire.

e) « Enquête menée du 3 au 21 mars auprès des étudiants inscrits à la session d'hiver au cégep, base de sondage : fichier du registrariat, 6 200 inscrits. Plan stratifié par secteur et régime d'études, allocation proportionnelle, 1 250 invitations, 402 questionnaires exploitables, taux de réponse 32 %. Données pondérées par secteur, régime et âge; marge d'erreur globale de plus ou moins 4,7 points, 19 fois sur 20; marge portée à environ 11,6 points sur les sous-groupes d'environ 70 répondants. » Trois lignes qui disent la base, le plan et la précision, avec ses limites : c'est exactement ce qu'un lecteur doit trouver pour juger le reste du rapport.

a) Non, l'écart est trop grand pour le hasard seul. Les intervalles sont $\left[51{,}0\ ;\ 57{,}0\right]$ pour A et $\left[38{,}0\ ;\ 44{,}0\right]$ pour B : ils ne se recouvrent pas, et il reste sept points entre eux. Plus finement, la différence de deux proportions issues d'échantillons indépendants a une erreur type d'environ $\sqrt{0{,}0153^{2}+0{,}0153^{2}}\approx 0{,}0217$, donc une marge d'environ 4,2 points sur l'écart : un écart de 13 points vaut plus de six erreurs types. La conclusion s'impose : la différence ne vient pas de l'échantillonnage, elle vient de la méthode.

b) Elle explique probablement l'essentiel de l'écart. La question de B contient une information supplémentaire, et une information coûteuse : mentionner un prix fait chuter le soutien à presque toutes les mesures, phénomène si constant qu'il est utilisé délibérément par les commanditaires. Les deux maisons ne mesurent donc pas la même chose : A mesure l'adhésion au principe, B mesure l'adhésion au principe une fois le prix connu. Les deux chiffres peuvent être exacts en même temps, et c'est le titre du communiqué, s'il parle simplement du « soutien à la mesure », qui est faux dans les deux cas.

c) Le mode agit par trois canaux. La COUVERTURE : un panel en ligne exclut les moins connectés, un téléphone avec cellulaires les rejoint mieux. La DÉSIRABILITÉ SOCIALE : face à un intervieweur humain, un répondant adoucit ses positions sur les sujets sensibles, alors qu'un questionnaire auto-administré libère la parole; l'écart atteint couramment cinq points sur les questions d'immigration ou de vote. Enfin le RYTHME et l'ATTENTION : en ligne, le répondant voit toutes les modalités, y compris les milieux d'échelle, alors qu'au téléphone on retient surtout la première et la dernière lues. Un institut sérieux ne compare donc jamais deux vagues menées par des modes différents sans le signaler.

d) Sur 100 répondants de B, 41 sont favorables, 14 indécis, donc 45 défavorables. En excluant les indécis, la part favorable devient $\dfrac{41}{86}\approx 0{,}477$, soit 47,7 %. L'écart avec A tombe de 13 à environ 6,3 points, soit une réduction de moitié. Le traitement des indécis est ainsi un troisième facteur d'écart, purement conventionnel : forcer un choix les répartit entre les deux camps, offrir la sortie les retire du dénominateur ou l'y laisse, et chaque décision déplace le résultat de plusieurs points sans qu'une seule opinion ait changé.

e) Il faut exiger de chacune le libellé EXACT de la question, l'ordre des questions précédentes, le mode de collecte, la base de sondage et le plan, les dates de terrain, le taux de réponse, les variables de pondération et le traitement des indécis. C'est le contenu d'une fiche technique complète, que les codes professionnels imposent de publier avec tout résultat rendu public. Le principe général tient en une phrase : deux sondages ne se comparent que si tout, sauf ce que l'on veut comparer, a été tenu constant. Faute de quoi l'écart mesure la méthode, pas l'opinion.