{"id":8515,"date":"2019-04-30T17:01:37","date_gmt":"2019-04-30T15:01:37","guid":{"rendered":"https:\/\/sciencetonnante.wordpress.com\/?p=8515"},"modified":"2020-09-02T23:02:52","modified_gmt":"2020-09-02T21:02:52","slug":"etude","status":"publish","type":"post","link":"https:\/\/scienceetonnante.com\/blog\/2019\/04\/30\/etude\/","title":{"rendered":"Comment lire une \u00e9tude scientifique ?"},"content":{"rendered":"<p>Dans cette nouvelle vid\u00e9o, je m&rsquo;attaque \u00e0 ces fameuses \u00ab\u00a0\u00e9tudes am\u00e9ricaines\u00a0\u00bb auxquelles ont fait dire tout et son contraire&#8230;<\/p>\n<p><iframe title=\"Comment fact-checker une \u00e9tude scientifique ? \u2014 Science \u00e9tonnante #59\" width=\"770\" height=\"433\" data-src=\"https:\/\/www.youtube.com\/embed\/NkdczX1Sq-U?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture\" allowfullscreen src=\"data:image\/svg+xml;base64,PHN2ZyB3aWR0aD0iMSIgaGVpZ2h0PSIxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciPjwvc3ZnPg==\" class=\"lazyload\" data-load-mode=\"1\"><\/iframe><\/p>\n<p>D\u00e9tail amusant : quand j&rsquo;ai \u00e9crit le script, j&rsquo;ai imagin\u00e9 au hasard un sujet d'\u00a0\u00bb\u00e9tude am\u00e9ricaine\u00a0\u00bb : le heavy metal et la d\u00e9pression. Or apr\u00e8s j&rsquo;ai v\u00e9rifi\u00e9, <a href=\"https:\/\/scholar.google.fr\/scholar?hl=fr&amp;q=heavy+metal+music+depression\" target=\"_blank\" rel=\"noopener\">il existe bien des publications ayant \u00e9tudi\u00e9 cette association<\/a> ! D&rsquo;ailleurs les r\u00e9sultats ont l&rsquo;air subtils car en non-randomis\u00e9, il semblerait que l&rsquo;\u00e9coute du metal soit plut\u00f4t corr\u00e9l\u00e9e avec les sympt\u00f4mes d\u00e9pressifs, mais qu&rsquo;en traitement randomis\u00e9 il ait un effet b\u00e9n\u00e9fique. Paradoxal, non ? Mais bon j&rsquo;avoue que je n&rsquo;ai pas creus\u00e9.<\/p>\n<p>Quelques petits compl\u00e9ments d&rsquo;usage, pour ceux qui voudraient aller plus loin&#8230;<!--more--><\/p>\n<h3>Processus de publication et a-priori bay\u00e9sien<\/h3>\n<p>Je n&rsquo;ai pas pass\u00e9 trop de temps sur le processus de relecture par les pairs. J&rsquo;ai notamment pass\u00e9 sous silence les habituels allers\/retours qui se font entre les auteurs et les relecteurs, ces derniers pouvant demander des pr\u00e9cisions ou corrections dans le texte. Je n&rsquo;ai pas non plus \u00e9voqu\u00e9 tous les probl\u00e8mes que posent le processus actuel de l&rsquo;\u00e9dition scientifique, \u00e7a n&rsquo;\u00e9tait pas le propos de la vid\u00e9o, mais <a href=\"https:\/\/www.youtube.com\/watch?v=rcgxY__YXEc\" target=\"_blank\" rel=\"noopener\">l&rsquo;ami DirtyBiology a fait une vid\u00e9o sur le sujet<\/a> !<\/p>\n<p>Parlons vite-fait des impacts factors. Je l&rsquo;ai pr\u00e9sent\u00e9 comme un \u00e9l\u00e9ment int\u00e9ressant \u00e0 verser au dossier quand on analyse une \u00e9tude. Je suis s\u00fbr que \u00e7a va en faire hurler quelques uns. Il est vrai que cette m\u00e9trique a plein de probl\u00e8mes, et qu&rsquo;en plus les journaux \u00e0 tr\u00e8s haut facteur d&rsquo;impact peuvent poser le probl\u00e8me additionnel de la fraude scientifique pure et simple. On sait qu&rsquo;une publication dans une revue tr\u00e8s prestigieuse peut \u00eatre un \u00e9l\u00e9ment tr\u00e8s important pour la carri\u00e8re d&rsquo;un chercheur, il y a donc une pression a essayer de publier ses papiers dans ces revues, ce qui peut pousser certains \u00e0 carr\u00e9ment falsifier leurs r\u00e9sultats pour d\u00e9crocher la timbale. Donc oui, sur un gros r\u00e9sultat spectaculaire dans une revue \u00ab\u00a0star\u00a0\u00bb, il faut aussi accueillir les choses avec prudence. D&rsquo;autant plus que \u00e7a n&rsquo;est pas un relecteur non-sp\u00e9cialis\u00e9 qui pourra d\u00e9tecter ces fraudes.<\/p>\n<p>A contrario une \u00e9tude publi\u00e9e dans un \u00ab\u00a0petit\u00a0\u00bb journal n&rsquo;est pas forc\u00e9ment mauvaise. Disons que mon algorithme est plut\u00f4t \u00ab\u00a0Si le r\u00e9sultat annonc\u00e9 est spectaculaire, et que \u00e7a vient d&rsquo;une petite revue, redoublons de prudence.\u00a0\u00bb Car en principe avec un r\u00e9sultat canon, on essaye de soumettre aux grosses revues. Ce genre de v\u00e9rification pr\u00e9liminaire sert juste \u00e0 savoir quels sont nos a prioris sur la plausibilit\u00e9 de l&rsquo;article, avant de le lire, <a href=\"https:\/\/www.youtube.com\/watch?v=DgrRlP_GRRY\" target=\"_blank\" rel=\"noopener\">dans une logique toute bay\u00e9sienne que ne renierai pas l&rsquo;ami Science4All<\/a> !<\/p>\n<h3>Un mot sur les exp\u00e9riences et leurs analyses<\/h3>\n<p>Parlons pour commencer de ce qu&rsquo;on appelle les \u00ab\u00a0mod\u00e8les animaux\u00a0\u00bb. Quand j&rsquo;ai \u00e9voqu\u00e9 les exp\u00e9riences sur les animaux, certains ont peut \u00eatre tiqu\u00e9 en m&rsquo;entendant parler de la d\u00e9pression chez les souris. Eh bien figurez vous que pour un grand nombre de maladies humaines, il existe des \u00e9quivalents chez diff\u00e9rents animaux, c&rsquo;est ce qu&rsquo;on appelle des \u00ab\u00a0mod\u00e8les animaux\u00a0\u00bb. Et il en existe notamment <a href=\"https:\/\/en.wikipedia.org\/wiki\/Animal_models_of_depression\" target=\"_blank\" rel=\"noopener\">un certain nombre pour la d\u00e9pression<\/a>. Donc oui, \u00e9tudier la d\u00e9pression chez la souris, \u00e7a a du sens.<\/p>\n<p>Sur ce qu&rsquo;on observe et ce qu&rsquo;on fait varier, j&rsquo;ai sch\u00e9matis\u00e9 en ne pr\u00e9sentant qu&rsquo;un cas simple (mais fr\u00e9quent) : celui o\u00f9 on a deux groupes et on \u00e9tudie l&rsquo;impact sur une variable continue (par exemple un score sur une \u00e9chelle de d\u00e9pression.) Mais il existe plein d&rsquo;autres situations : parfois on a plus de deux groupes, parfois on fait varier plusieurs facteurs. On peut \u00e9galement regarder l&rsquo;impact d&rsquo;une variable continue (disons le nombre de chanson de m\u00e9tal \u00e9cout\u00e9es chaque mois) sur une autre (le score de d\u00e9pression). Dans ce cas, on se trouve face \u00e0 un cas de tentative \u00ab\u00a0corr\u00e9lation\u00a0\u00bb entre deux variables continues.<\/p>\n<p>Dans tous ces cas on peut r\u00e9aliser des tests statistiques auxquels on attribue des \u00ab\u00a0valeurs p\u00a0\u00bb. Mais il y a parfois des subtilit\u00e9s difficiles \u00e0 d\u00e9m\u00ealer sans quelques connaissances en statistiques. Tout test statistique repose sur des hypoth\u00e8ses donn\u00e9es, et un mod\u00e8le sous-jacent dont il faut en principe s&rsquo;assurer qu&rsquo;il est raisonnablement valide. Et il n&rsquo;est pas rare que des publications scientifiques pr\u00e9sentent juste le bon test statistique qui permet de passer sous la barre fatidique des p=0,05. C&rsquo;est parfois ce qu&rsquo;on appelle du \u00ab\u00a0hacking\u00a0\u00bb de valeur p.\u00a0 (Pour ceux qui veulent en savoir plus sur cette notion, je vous renvoie \u00e0 un vieux billet sur le sujet : <a href=\"https:\/\/scienceetonnante.com\/blog\/2013\/11\/18\/comment-etre-sur-quun-resultat-scientifique-est-vrai\/\">Comment \u00eatre s\u00fbrs qu&rsquo;un r\u00e9sultat scientifique est vrai ?<\/a>)<\/p>\n<p>Petite pr\u00e9cision aussi : pour les besoins de la simplicit\u00e9 de l&rsquo;expos\u00e9, je n&rsquo;ai pas insist\u00e9 sur la notion de \u00ab\u00a0barre d&rsquo;erreur\u00a0\u00bb ou de fa\u00e7on plus g\u00e9n\u00e9rale de variabilit\u00e9. Elle joue bien entendu un r\u00f4le dans les estimations statistiques. Une bonne mani\u00e8re de \u00ab\u00a0mesurer\u00a0\u00bb une taille d&rsquo;effet, c&rsquo;est de la compter en \u00ab\u00a0barres d&rsquo;erreur\u00a0\u00bb. Est-ce que l&rsquo;effet est \u00e9gal \u00e0 2 fois la barre d&rsquo;erreur ? Plus ? Moins ? C&rsquo;est en quelque sorte ce ratio, et le nombre de sujets dans les groupes, qui va gouverner la valeur p.<\/p>\n<p>Concernant les facteurs de confusion, il faut bien r\u00e9aliser qu&rsquo;il existe des m\u00e9thodes statistiques permettant de les maitriser. Mais ces m\u00e9thodes reposent sur des hypoth\u00e8ses qui ne sont pas toujours v\u00e9rifi\u00e9es, il ne s&rsquo;agit donc pas d&rsquo;un coup de baguette magique qui r\u00e9sout tous les probl\u00e8mes. Et surtout cela ne marche que si le facteur a \u00e9t\u00e9 pr\u00e9alablement identifi\u00e9, et que les donn\u00e9es correspondantes ont \u00e9t\u00e9 collect\u00e9es. On ne peut pas contr\u00f4ler pour un facteur pour lequel on n&rsquo;a pas de donn\u00e9es. Donc en th\u00e9orie on n&rsquo;est jamais certains d&rsquo;avoir tout bien contr\u00f4l\u00e9. Cela montre d&rsquo;ailleurs que pour ce genre d&rsquo;analyse, les statistiques ne suffisent pas : il faut un expert du sujet, quelqu&rsquo;un qui sait bien de quoi on parle, et qui est \u00e0 m\u00eame d&rsquo;identifier les bons facteurs de confusion.<\/p>\n<p>Enfin j&rsquo;ai sous-entendu qu&rsquo;une \u00e9tude \u00e9tait soit non-randomis\u00e9e (et donc sujette \u00e0 facteur de confusion), soit randomis\u00e9e auquel cas les tailles de groupes \u00e9taient souvent faible. Il y a bien s\u00fbr un cas o\u00f9 on essaye d&rsquo;avoir des \u00e9tudes randomis\u00e9es sur de grands groupes, ce sont bien s\u00fbr les \u00ab\u00a0essais cliniques\u00a0\u00bb des m\u00e9dicaments, notamment dans les phases II et III o\u00f9 l&rsquo;on va avoir typiquement de plusieurs centaines \u00e0 plusieurs milliers de patients. Autant que possible les \u00e9tudes sont en \u00ab\u00a0double aveugle\u00a0\u00bb, c&rsquo;est-\u00e0-dire que ni le patient, ni son m\u00e9decin traitant, ne savent \u00e0 quel groupe le patient est attribu\u00e9. Dans ce cas l\u00e0 les groupes de contr\u00f4le sont soit des groupes placebos, soit des groupes recevant un traitement usuel.<\/p>\n<p>&nbsp;<\/p>\n<p>&nbsp;<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Dans cette nouvelle vid\u00e9o, je m&rsquo;attaque \u00e0 ces fameuses \u00ab\u00a0\u00e9tudes am\u00e9ricaines\u00a0\u00bb auxquelles ont fait dire tout et son contraire&#8230; D\u00e9tail amusant : quand j&rsquo;ai \u00e9crit le script, j&rsquo;ai imagin\u00e9 au hasard un sujet d&rsquo;\u00a0\u00bb\u00e9tude am\u00e9ricaine\u00a0\u00bb : le heavy metal et la d\u00e9pression. Or apr\u00e8s j&rsquo;ai v\u00e9rifi\u00e9, il existe bien des publications ayant \u00e9tudi\u00e9 cette association<\/p>\n","protected":false},"author":1,"featured_media":8976,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"jetpack_post_was_ever_published":false,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[7,20,11],"tags":[33],"class_list":{"0":"post-8515","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-biologie","8":"category-medecine","9":"category-sciences-sociales","10":"tag-statistiques"},"jetpack_featured_media_url":"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2019\/04\/newspaper-scaled.jpg","jetpack_sharing_enabled":true,"post_mailing_queue_ids":[],"_links":{"self":[{"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/posts\/8515","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/comments?post=8515"}],"version-history":[{"count":1,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/posts\/8515\/revisions"}],"predecessor-version":[{"id":8977,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/posts\/8515\/revisions\/8977"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/media\/8976"}],"wp:attachment":[{"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/media?parent=8515"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/categories?post=8515"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/tags?post=8515"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}