Exercices corrigés : devis de recherche et lecture critique (360-300)

a) Le PROBLÈME est le constat général qui motive l'étude : une part croissante des étudiants de cégep occupe un emploi pendant la session, et les taux de diplomation stagnent. La QUESTION est ce à quoi l'étude entend répondre : le nombre d'heures de travail rémunéré est-il associé à la réussite scolaire au collégial ? L'HYPOTHÈSE est la réponse anticipée, formulée de façon vérifiable : au-delà de 20 heures par semaine, le taux de réussite de tous les cours est inférieur à celui des étudiants qui travaillent moins. Les trois se distinguent par leur degré de précision, et l'erreur habituelle est de sauter directement du problème à la conclusion.

b) Il faut préciser trois choses : la population, les variables opérationnalisées et le sens attendu. Par exemple : « chez les étudiants inscrits à temps plein au collégial, le taux de réussite de tous les cours de la session diminue à mesure qu'augmente le nombre d'heures de travail rémunéré déclaré, la baisse étant marquée au-delà d'un seuil de 20 heures par semaine ». Le mot « nuit », qui affirme une causalité, a disparu au profit d'une association mesurable : c'est le prix à payer pour un devis transversal.

c) Parce qu'une affirmation qu'aucun résultat ne pourrait contredire n'apprend rien : elle est compatible avec tout, donc elle n'est pas informative. Exemple d'énoncé non falsifiable : « les difficultés scolaires ont des causes multiples et complexes ». Aucune donnée imaginable ne l'infirmerait. Un autre cas courant est l'hypothèse formulée APRÈS avoir vu les résultats, qui n'a plus rien à risquer : elle a l'apparence d'une prédiction et la fonction d'une description.

d) Hypothèse NULLE : le taux de réussite est le même chez les étudiants qui travaillent 20 heures et plus et chez les autres, autrement dit toute différence observée n'est due qu'au hasard de l'échantillonnage. Hypothèse ALTERNATIVE : les deux taux diffèrent. Il faut retenir que le test porte sur $H_{0}$, que l'on cherche à REJETER, et que l'hypothèse de recherche du chercheur correspond à l'alternative : on ne démontre jamais directement ce que l'on croit, on montre que le contraire est difficile à soutenir.

e) Oui : une hypothèse est directionnelle quand elle annonce le SENS de la différence, ici « inférieur » plutôt que « différent ». Le test devient alors UNILATÉRAL, et toute la zone de rejet de 5 % se place d'un seul côté, ce qui abaisse la valeur critique de 1,96 à 1,645 pour une loi normale et rend le rejet plus facile. La contrepartie est stricte : le sens doit être annoncé AVANT de voir les données, et un résultat spectaculaire dans l'autre sens ne pourra pas être déclaré significatif. Choisir l'unilatéral après coup, en fonction du sens observé, revient à doubler discrètement son seuil.

a) ÉTUDE DE CAS : analyse approfondie d'une ou quelques unités, riche en détail, sans prétention de généralisation. TRANSVERSAL : une mesure de plusieurs variables à un moment donné sur un échantillon, c'est le devis du sondage. LONGITUDINAL : les mêmes unités mesurées à plusieurs reprises dans le temps. QUASI EXPÉRIMENTAL : comparaison entre un groupe traité et un groupe témoin, sans assignation aléatoire, les groupes étant constitués par les circonstances. EXPÉRIMENTAL : comparaison entre groupes constitués par tirage au sort, seul devis où le chercheur contrôle qui reçoit quoi.

b) Étude de cas : parfois, si la reconstitution chronologique est solide, mais sur une seule unité. Transversal : NON, c'est sa faiblesse fondamentale, tout est mesuré en même temps et rien ne dit ce qui a précédé quoi. Longitudinal : OUI, c'est précisément son apport, la mesure répétée établit l'ordre temporel. Quasi expérimental : oui pour le traitement, dont on connaît la date, non pour les différences préexistantes entre les groupes. Expérimental : OUI, le traitement est administré après la constitution des groupes, à une date connue du chercheur.

c) C'est un devis QUASI EXPÉRIMENTAL, et son défaut principal est le BIAIS DE SÉLECTION : les étudiants qui s'inscrivent volontairement à un atelier de méthodes diffèrent des autres par tout ce qui les a poussés à s'inscrire, motivation, conscience de leurs difficultés, disponibilité, soutien familial. Une différence de réussite entre les deux groupes mélange l'effet de l'atelier et l'effet de ces caractéristiques, sans qu'aucun calcul ne puisse les séparer. Le sens même du biais est indécidable a priori : les volontaires peuvent être les plus motivés, donc meilleurs de toute façon, ou les plus en difficulté, donc plus faibles au départ.

d) Il faudrait TIRER AU SORT qui reçoit l'atelier parmi les candidats intéressés, et comparer les tirés aux non-tirés. Le tirage au sort équilibre en moyenne toutes les caractéristiques, y compris celles qu'on n'a pas mesurées, ce qu'aucun contrôle statistique ne peut faire. C'est souvent impossible pour trois raisons : l'éthique, refuser un service jugé bénéfique à des étudiants qui le demandent est difficile à justifier; l'administration, un établissement ne peut pas toujours restreindre l'accès à un service; et la contamination, les étudiants des deux groupes se parlent, s'échangent les documents, et l'effet du traitement se diffuse. Une solution intermédiaire consiste à tirer au sort l'ORDRE d'accès, en offrant l'atelier au groupe témoin la session suivante.

e) Le problème spécifique est l'ATTRITION, ou mortalité expérimentale : des participants disparaissent en cours de route, et ils ne disparaissent pas au hasard. Les étudiants qui abandonnent leurs études sont précisément ceux dont on voudrait connaître la trajectoire, et leur départ vide l'échantillon de ses cas les plus informatifs, ce qui fait paraître la cohorte de plus en plus performante à mesure que le temps passe. On le mesure en comparant, sur les variables mesurées AU DÉPART, ceux qui restent et ceux qui sont partis : si les deux groupes se ressemblent, l'attrition est probablement sans conséquence; s'ils diffèrent, il faut le dire et pondérer.

a) L'ÉCHANTILLONNAGE aléatoire tire au sort QUI est étudié, dans une population définie. Il protège la validité EXTERNE, c'est-à-dire la possibilité de généraliser les résultats à cette population. L'ASSIGNATION aléatoire tire au sort QUI REÇOIT LE TRAITEMENT, parmi les personnes déjà retenues. Elle protège la validité INTERNE, c'est-à-dire le droit d'attribuer la différence observée au traitement plutôt qu'à une différence préexistante entre les groupes. Le premier tirage sert à parler de la population, le second à parler de la cause.

b) La validité INTERNE est forte : grâce à l'assignation aléatoire, les deux groupes sont comparables en moyenne sur tout, mesuré ou non, et une différence de résultat peut raisonnablement être attribuée au traitement. La validité EXTERNE est faible : 60 volontaires d'un seul cégep ne représentent ni les non-volontaires ni les autres établissements. On sait donc que ça marche, sur ces gens-là, et on ignore chez qui d'autre.

c) C'est la situation inverse. La validité EXTERNE est forte : l'échantillon probabiliste national permet de généraliser les proportions et les associations à l'ensemble de la population visée. La validité INTERNE est faible : personne n'a été assigné à utiliser l'application, ce sont les étudiants qui ont choisi, et ce choix est lié à leur motivation, à leur aisance numérique et à leurs résultats antérieurs. On sait donc que l'association existe dans la population, et on ignore si l'application y est pour quelque chose.

d) Oui, c'est l'ESSAI RANDOMISÉ SUR ÉCHANTILLON PROBABILISTE : on tire d'abord au sort un échantillon représentatif de la population, puis on assigne au hasard le traitement à l'intérieur de cet échantillon. C'est le devis le plus solide qui existe, et il est rare parce qu'il cumule les coûts et les contraintes des deux : il faut une base de sondage, un taux de participation élevé, et la possibilité éthique de traiter certains et pas d'autres. On le rencontre surtout dans les grandes évaluations de politiques publiques.

e) Le chercheur confond les deux tirages. Correction : « l'assignation étant aléatoire, la différence observée entre les deux groupes peut raisonnablement être attribuée au traitement, ce qui assure la validité interne de l'étude. En revanche, nos participants étant des volontaires d'un seul établissement, rien ne garantit que l'effet serait du même ordre ailleurs; la généralisation demanderait une réplication dans d'autres cégeps, avec des populations étudiantes différentes. » La phrase corrigée nomme la validité obtenue, refuse celle qui n'est pas acquise, et indique ce qu'il faudrait pour l'obtenir.

a) Première condition, l'ASSOCIATION : $X$ et $Y$ varient ensemble. Deuxième, l'ANTÉRIORITÉ : $X$ précède $Y$ dans le temps. Troisième, la NON-FALLACE : l'association ne s'explique pas par une troisième variable antérieure aux deux. Un tableau croisé n'établit que la PREMIÈRE. L'antériorité vient du devis, la non-fallace vient du contrôle des variables tierces, et aucune des deux ne se lit dans un coefficient, si élevé soit-il.

b) Association : oui, elle est bien documentée et robuste. Antériorité : plausible, le déjeuner précède la journée de classe, mais si la mesure est transversale, rien ne l'établit formellement, et l'on peut imaginer qu'un enfant qui réussit bien dorme mieux et se lève plus tôt. Non-fallace : c'est ici que tout se joue, et la condition n'est PAS satisfaite. Le revenu et l'organisation du ménage déterminent à la fois la régularité du déjeuner et une foule d'autres avantages scolaires, du calme du logement au vocabulaire à la maison. La conclusion honnête est que le déjeuner est un INDICATEUR de conditions favorables, dont l'effet propre reste à démontrer par une intervention.

c) Le GRADIENT, ou relation dose-réponse : plus la cause augmente, plus l'effet augmente, ce qui rend le hasard moins plausible; dans l'exemple des heures de travail, le taux d'abandon passait régulièrement de 15 % à 20 % puis à 35 %. Et la PLAUSIBILITÉ D'UN MÉCANISME : on doit pouvoir raconter par quel chemin la cause produit l'effet, ici la fatigue, le temps d'étude amputé et l'absence aux activités du collège. Ces critères, popularisés par Bradford Hill en épidémiologie, ne prouvent rien à eux seuls, mais leur absence doit rendre méfiant.

d) C'est une CORRÉLATION FALLACIEUSE due à une variable antérieure commune, la TEMPÉRATURE, ou plus généralement la saison : la chaleur fait acheter de la crème glacée et fait aller se baigner. Le contrôle qui le révélerait est l'élaboration : à température constante, en comparant par exemple uniquement des journées entre 25 et 30 degrés, l'association entre ventes et noyades s'effondrerait. Un coefficient de 0,93 sur douze points mensuels illustre bien le danger des séries temporelles courtes : deux séries qui suivent la même saison sont corrélées presque parfaitement sans avoir le moindre lien.

e) Oui, en approchant l'expérience plutôt qu'en la remplaçant. Trois stratégies sont courantes. L'EXPÉRIENCE NATURELLE : on exploite un événement extérieur qui a modifié $X$ pour des raisons sans rapport avec $Y$, par exemple une réforme appliquée à certaines régions et pas à d'autres. La comparaison AVANT-APRÈS AVEC TÉMOIN, qui soustrait ce qui serait arrivé de toute façon. Et l'APPARIEMENT, où l'on compare chaque individu traité à un individu non traité qui lui ressemble sur toutes les variables mesurées. Aucune ne vaut le tirage au sort, parce que toutes restent aveugles aux variables non mesurées, et une conclusion causale tirée de ces devis doit toujours être annoncée comme conditionnelle.

a) Le groupe traité gagne $70-61=9$ points. Une étude sans groupe témoin conclurait à un effet de 9 points et publierait un communiqué enthousiaste. C'est le devis le plus répandu dans l'évaluation de programmes, et le plus trompeur, parce qu'il attribue au programme la totalité de ce qui a changé.

b) Le groupe témoin gagne $67-62=5$ points sans traitement. Le gain NET vaut donc $9-5=4$ points. Cette différence de différences mesure ce que le programme a ajouté À CE QUI SERAIT ARRIVÉ DE TOUTE FAÇON, sous une hypothèse explicite : sans traitement, les deux groupes auraient évolué en parallèle. Le vrai effet est donc de 4 points, soit moins de la moitié du chiffre brut.

c) La MATURATION : entre les deux mesures, les étudiants ont simplement progressé, ils se sont habitués au rythme du cégep, ils ont appris à étudier. L'HISTOIRE : un événement extérieur a touché tout le monde, par exemple un enseignant plus clair au second trimestre, ou un examen plus facile. Le TESTAGE : passer une première fois l'épreuve améliore la performance à la seconde, par simple familiarisation avec le format. On pourrait ajouter l'INSTRUMENTATION, si le second examen n'était pas exactement de même difficulté que le premier, ce qui suffit à créer un gain artificiel dans les deux groupes.

d) L'effet est de GONFLER le gain observé, souvent beaucoup. Ceux qui quittent un programme de tutorat sont typiquement ceux pour qui il ne fonctionne pas, ou ceux dont la situation se dégrade : les mesurer aurait tiré la moyenne vers le bas. En ne mesurant que les 66 % restants, on compare la fin d'un groupe sélectionné au début d'un groupe complet. La parade s'appelle l'analyse en INTENTION DE TRAITER : on garde tous les étudiants initialement inscrits au programme dans le groupe traité, qu'ils l'aient suivi ou non. Le résultat est plus faible et il est honnête.

e) Elle introduit la RÉGRESSION VERS LA MOYENNE. Sélectionner les étudiants sur une performance EXTRÊME, ici un échec, garantit qu'une part de leur mauvais résultat est due à des circonstances passagères, maladie, mauvaise nuit, question mal comprise. À la mesure suivante, ces circonstances ne se répètent pas, et le groupe remonte mécaniquement, sans qu'aucune intervention n'y soit pour quelque chose. C'est la menace la plus insidieuse parce qu'elle produit exactement le résultat espéré, et elle justifie à elle seule d'exiger un groupe témoin sélectionné de la même façon.

a) $z_{1}=\dfrac{48-65}{10}=-1{,}70$. Le groupe se situe à 1,7 écart-type sous la moyenne, ce qui est une position très basse, occupée par environ 4,5 % de la distribution sous une loi normale.

b) $z_{2}=0{,}60\times \left(-1{,}70\right)=-1{,}02$. En points : $65+\left(-1{,}02\right)\times 10=65-10{,}2=54{,}8$. La prédiction ne suppose aucune intervention : elle découle uniquement du fait que la corrélation entre les deux examens vaut 0,60 et non 1.

c) Le groupe passe de 48 à 54,8, soit un gain PRÉDIT de 6,8 points sans que rien n'ait été fait. Un programme de rattrapage qui obtiendrait 7 points de gain sur ce groupe n'aurait donc démontré strictement aucun effet. Pour conclure à un effet, il faudrait dépasser nettement 6,8 points, ou mieux, comparer à un groupe témoin sélectionné exactement de la même manière.

d) Pour les cinq meilleurs : $z_{1}=\dfrac{82-65}{10}=1{,}70$, donc $z_{2}=0{,}60\times 1{,}70=1{,}02$ et la note prédite vaut $65+10{,}2=75{,}2$. Le groupe fort PERD 6,8 points, symétriquement, et toujours sans qu'aucune intervention n'y soit pour quelque chose. Le phénomène est parfaitement symétrique : ce qui remonte les faibles fait redescendre les forts.

e) Il faut lui répondre que ses deux conclusions sont produites par le même artefact, et qu'aucune ne repose sur ses programmes. Sélectionner sur une performance extrême garantit un mouvement vers la moyenne à la mesure suivante, quel que soit ce qu'on fait entre les deux; c'est pourquoi les programmes destinés aux plus faibles semblent toujours marcher et ceux destinés aux plus forts semblent toujours décevoir. Ce raisonnement explique aussi une croyance tenace chez les instructeurs : féliciter semble suivi d'une baisse, réprimander semble suivi d'une amélioration, alors que les deux ne sont que le retour à la moyenne après une performance exceptionnelle. La seule parade est le groupe témoin sélectionné selon le même critère.

a) Exactement 5 %, c'est la définition même du seuil : $\alpha$ est la probabilité de rejeter l'hypothèse nulle alors qu'elle est vraie, c'est-à-dire de commettre une erreur de première espèce. Ce risque est accepté d'avance et il ne disparaît jamais.

b) La probabilité qu'un test donné ne soit PAS significatif vaut 0,95. Pour 20 tests indépendants, la probabilité qu'aucun ne le soit vaut $0{,}95^{20}\approx 0{,}3585$. Donc la probabilité d'au moins un résultat significatif vaut $1-0{,}3585\approx 0{,}6415$, soit près de deux chances sur trois. En cherchant vingt liens qui n'existent pas, on en trouve un dans presque deux cas sur trois.

c) Il faut $1-0{,}95^{k}>0{,}5$, donc $0{,}95^{k}<0{,}5$ et $k>\dfrac{\ln 0{,}5}{\ln 0{,}95}=\dfrac{-0{,}6931}{-0{,}051293}\approx 13{,}5$. Dès 14 tests, il y a plus d'une chance sur deux de trouver au moins un résultat significatif sur du bruit pur. Quatorze tests, c'est un questionnaire ordinaire croisé avec une seule variable dépendante.

d) Bonferroni impose $\alpha'=\dfrac{0{,}05}{20}=0{,}0025$. Le risque global redescend alors à environ $1-\left(1-0{,}0025\right)^{20}\approx 0{,}0488$, soit les 5 % voulus. Le coût est une perte de PUISSANCE : avec un seuil vingt fois plus strict, la valeur critique passe de 1,96 à environ 3,02 écarts-types, et un effet réel mais modéré ne sera plus détecté. La correction est donc conservatrice, et d'autres méthodes, comme le contrôle du taux de fausses découvertes, offrent un compromis moins brutal.

e) Première pratique, le CHOIX DU SEUIL APRÈS COUP, en passant à 10 % quand 5 % ne donne rien, ou en déclarant unilatéral un test prévu bilatéral. Deuxième pratique, l'ARRÊT OPTIMISTE : on collecte, on teste, et l'on continue à collecter tant que le résultat n'est pas significatif, ce qui garantit d'y arriver un jour. Troisième pratique, les DEGRÉS DE LIBERTÉ DU CHERCHEUR : découper autrement les classes d'âge, exclure quelques valeurs aberrantes, changer de variable de contrôle, jusqu'à ce que le tableau parle. Aucune de ces trois ne laisse de trace dans l'article, et c'est précisément pourquoi les revues exigent de plus en plus l'ENREGISTREMENT PRÉALABLE du plan d'analyse.

1) FAUX. L'échantillonnage aléatoire assure la validité EXTERNE, la généralisation à la population, et rien de plus. La solidité d'une conclusion CAUSALE vient de l'assignation aléatoire du traitement, qui est un tout autre tirage. Énoncé correct : notre échantillon étant aléatoire, nos estimations se généralisent à la population; l'absence d'assignation aléatoire nous interdit en revanche d'attribuer les différences observées au traitement.

2) FAUX, ou du moins non démontré. Le groupe ayant été sélectionné sur une performance basse, il remonte mécaniquement vers la moyenne, et ce retour vaut ici environ 6,8 points, soit presque tout le gain observé. Énoncé correct : le groupe a progressé de 7 points, un gain compatible avec la seule régression vers la moyenne; conclure exigerait un groupe témoin sélectionné selon le même critère.

3) FAUX. Avec 18 tests indépendants sur du bruit pur, la probabilité d'obtenir au moins un résultat significatif vaut $1-0{,}95^{18}\approx 0{,}603$, soit six chances sur dix. Un résultat à 4 % n'a rien de remarquable dans ce contexte. Énoncé correct : sur 18 tests, ce résultat isolé doit être présenté comme exploratoire, avec le nombre total de tests effectués, et confirmé sur un échantillon indépendant avant d'être affirmé.

4) FAUX deux fois. D'abord, une corrélation élevée n'établit jamais une causalité, seulement une association. Ensuite, deux séries mensuelles suivant le même cycle saisonnier sont corrélées presque parfaitement sans aucun lien : douze points annuels sont dominés par la saison. Énoncé correct : les deux séries varient ensemble au fil des mois; il faudrait contrôler la saison, ou travailler sur les variations désaisonnalisées, avant d'envisager le moindre lien.

5) FAUX. Ne pas trouver de différence signifie que les données sont compatibles avec l'absence d'effet, pas qu'elle est démontrée. Avec 30 participants par groupe, la puissance de détecter un effet modeste est faible. Énoncé correct : nos données ne permettent pas de conclure à un effet; l'intervalle de confiance sur la différence va de $-3$ à $+7$ points, ce qui laisse ouverte la possibilité d'un effet appréciable, et une étude plus grande serait nécessaire.

a) Le devis le plus solide praticable est l'EXPÉRIENCE À LISTE D'ATTENTE : parmi les étudiants qui demandent le tutorat, on en tire au sort la moitié qui commence tout de suite, l'autre moitié étant servie la session suivante. On obtient une assignation aléatoire véritable, donc la validité interne, sans refuser le service à personne, ce qui lève l'objection éthique. Ce qui empêche l'idéal, l'essai randomisé sur échantillon probabiliste, c'est que les participants restent des VOLONTAIRES : la conclusion vaudra pour les étudiants qui demandent du tutorat, non pour l'ensemble du cégep.

b) Précisément par le tirage au sort à l'intérieur des demandeurs. Ce point est décisif : un groupe témoin formé d'étudiants qui n'ont PAS demandé le tutorat serait inutilisable, puisqu'il différerait sur la motivation, la conscience des difficultés et la disponibilité, exactement les variables qui déterminent la réussite. Le témoin doit ressembler au traité sur tout sauf sur le traitement, et la seule façon de s'en assurer est de le tirer dans la même population de demandeurs.

c) Erreur type de la différence : $\sqrt{\dfrac{9^{2}}{60}+\dfrac{9^{2}}{60}}=\sqrt{1{,}35+1{,}35}=\sqrt{2{,}70}\approx 1{,}6432$. Marge : $1{,}96\times 1{,}6432\approx 3{,}22$ points. L'écart observé vaut $71{,}4-67{,}9=3{,}5$ points, donc l'intervalle va de $0{,}28$ à $6{,}72$ : il ne contient pas zéro, l'effet est significatif au seuil de 5 %, mais de justesse. La borne inférieure, à peine au-dessus de zéro, doit être publiée : elle dit que l'effet pourrait n'être que de trois dixièmes de point.

d) $d=\dfrac{3{,}5}{9}\approx 0{,}389$. Selon les repères usuels, 0,2 petit, 0,5 moyen, 0,8 grand, il s'agit d'un effet PETIT À MOYEN. Autrement dit, un étudiant tutoré moyen se situe environ au rang centile 65 de la distribution du groupe témoin, contre 50 s'il n'y avait aucun effet. C'est un résultat honorable pour une intervention légère, et il faut le publier avec la taille d'effet plutôt qu'avec la seule valeur p, parce que c'est lui qui permettra de comparer ce programme à d'autres.

e) Il faut les GARDER dans le groupe tutoré, et présenter ce résultat comme l'analyse principale : c'est l'analyse en INTENTION DE TRAITER. La raison est que l'assignation au hasard ne protège que les groupes tels qu'ils ont été tirés; dès qu'on retire les 14 non-participants, on retire un sous-groupe sélectionné par son propre comportement, probablement le moins engagé, et l'équivalence des groupes disparaît. On peut publier EN PLUS une analyse restreinte aux participants effectifs, en la nommant comme telle et en signalant qu'elle surestime probablement l'effet. L'intention de traiter répond à la question du décideur, qui est de savoir ce que produit le fait d'OFFRIR le programme, et non ce qu'il produirait si tout le monde le suivait.

a) C'est un devis TRANSVERSAL par questionnaire : usage des réseaux et symptômes dépressifs sont mesurés au même moment, sur les mêmes personnes. Il autorise à établir une ASSOCIATION dans la population interrogée, et rien de plus. En particulier, il n'établit ni l'antériorité, on ignore ce qui a commencé en premier, ni l'absence de variable confondante. Aucune conclusion causale n'en découle, quelle que soit la taille de l'échantillon.

b) Le rapport vaut $\dfrac{26}{13}=2{,}0$ : « deux fois plus » est exact au sens du rapport de proportions. Deux autres présentations exactes : l'écart ABSOLU, $26-13=13$ points de pourcentage, et le complément, 74 % des grands utilisateurs ne présentent PAS de symptômes dépressifs contre 87 % des faibles utilisateurs, ce qui donne un rapport de 0,85, soit un écart bien moins spectaculaire. Les trois formulations décrivent les mêmes données, et le choix entre elles est le principal levier de dramatisation dont dispose un journaliste. La règle de lecture est de toujours demander les proportions brutes derrière un rapport.

c) Première explication, la CAUSALITÉ INVERSE : un adolescent qui va mal se replie sur son téléphone, l'humeur précédant l'usage. Deuxième explication, une VARIABLE CONFONDANTE : l'isolement social, un conflit familial ou l'insomnie augmentent à la fois le temps d'écran et les symptômes. Troisième explication, un BIAIS DE MESURE COMMUN : les deux variables sont autodéclarées dans le même questionnaire, et un adolescent en détresse surestime probablement son temps d'écran comme ses symptômes, ce qui crée une corrélation sans qu'aucun lien réel n'existe. Cette troisième explication est spécifique aux enquêtes autoadministrées et elle est trop rarement mentionnée.

d) Un questionnaire en ligne recrute par les réseaux sociaux ou par des panels, donc il SURREPRÉSENTE mécaniquement les grands utilisateurs, et il exclut les adolescents peu connectés, précisément le groupe de comparaison. Le problème est ici plus grave que d'ordinaire parce que la variable indépendante de l'étude, l'usage des réseaux, est aussi le mécanisme de recrutement : la base de sondage est corrélée à ce que l'on mesure. Un tel devis peut fabriquer une association à lui seul, et il faudrait au minimum décrire précisément le mode de recrutement, ce que l'article ne fait pas.

e) Titre : « Usage intensif des réseaux sociaux et symptômes dépressifs vont de pair chez les adolescents, sans qu'on sache lequel précède l'autre ». Première phrase : « Dans une enquête transversale menée en ligne auprès de 4 500 adolescents de 13 à 17 ans, 26 % de ceux qui déclarent plus de trois heures d'usage quotidien présentent des symptômes dépressifs, contre 13 % des faibles utilisateurs, soit 13 points d'écart. Le devis ne permet pas de dire si l'usage précède les symptômes ou l'inverse, et les deux mesures reposent sur les déclarations des mêmes répondants. » Trois corrections décisives : le verbe « aller de pair » remplace toute idée de cause, l'écart est donné en points en plus du rapport, et la limite du devis figure dans la première phrase plutôt qu'au dernier paragraphe.