{"id":5481,"date":"2013-11-18T03:00:09","date_gmt":"2013-11-18T02:00:09","guid":{"rendered":"http:\/\/sciencetonnante.wordpress.com\/?p=5481"},"modified":"2013-11-18T03:00:09","modified_gmt":"2013-11-18T02:00:09","slug":"comment-etre-sur-quun-resultat-scientifique-est-vrai","status":"publish","type":"post","link":"https:\/\/scienceetonnante.com\/blog\/2013\/11\/18\/comment-etre-sur-quun-resultat-scientifique-est-vrai\/","title":{"rendered":"Comment \u00eatre s\u00fbr qu&rsquo;un r\u00e9sultat scientifique est vrai ?"},"content":{"rendered":"<p style=\"text-align:justify;\"><a href=\"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2013\/11\/p5_champagne.gif\"><img decoding=\"async\" class=\"alignleft size-full wp-image-5485 lazyload\" alt=\"p5_champagne\" data-src=\"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2013\/11\/p5_champagne.gif\" width=\"300\" height=\"171\" src=\"data:image\/svg+xml;base64,PHN2ZyB3aWR0aD0iMSIgaGVpZ2h0PSIxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciPjwvc3ZnPg==\" style=\"--smush-placeholder-width: 300px; --smush-placeholder-aspect-ratio: 300\/171;\" \/><\/a>La nouvelle a fait grand bruit parmi les chercheurs\u00a0: d&rsquo;apr\u00e8s un statisticien am\u00e9ricain, il se pourrait que presque 25% des r\u00e9sultats publi\u00e9s dans litt\u00e9rature scientifique soient tout simplement faux.<\/p>\n<p style=\"text-align:justify;\">Voil\u00e0 qui ne va pas aider la science, d\u00e9j\u00e0 pas mal discr\u00e9dit\u00e9e aux yeux d&rsquo;une partie de nos concitoyens. Mais qu&rsquo;est-ce que cette nouvelle veut dire\u00a0?<\/p>\n<p style=\"text-align:justify;\">Pour le comprendre, il faut se pencher sur la m\u00e9thode scientifique que les chercheurs utilisent pour valider leurs r\u00e9sultats, celle qui leur permet de d\u00e9cider si oui ou non ils ont vraiment trouv\u00e9 quelque chose.<!--more--><\/p>\n<h3 style=\"text-align:justify;\">Une petite exp\u00e9rience entre amis<\/h3>\n<p style=\"text-align:justify;\">Vous \u00eates avec un groupe d&rsquo;amis en train de papoter, quand soudain l&rsquo;un d&rsquo;eux lance <em>\u00ab\u00a0En fait, contrairement \u00e0 ce qu&rsquo;on dit toujours, les femmes sont en moyenne plus grandes que les hommes dans la population\u00a0\u00bb<\/em>. Quoi\u00a0? Ah bon\u00a0? <em>\u00ab\u00a0Oui, je peux le prouver\u00a0!\u00a0\u00bb<\/em> r\u00e9pond-il.<\/p>\n<p style=\"text-align:justify;\">Votre ami mesure alors les uns apr\u00e8s les autres les membres du groupe, et voici les r\u00e9sultats\u00a0:<\/p>\n<p style=\"text-align:justify;\"><a href=\"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2013\/11\/tailles.png\"><img decoding=\"async\" class=\"aligncenter size-full wp-image-5483 lazyload\" alt=\"tailles\" data-src=\"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2013\/11\/tailles.png\" width=\"400\" height=\"112\" src=\"data:image\/svg+xml;base64,PHN2ZyB3aWR0aD0iMSIgaGVpZ2h0PSIxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciPjwvc3ZnPg==\" style=\"--smush-placeholder-width: 400px; --smush-placeholder-aspect-ratio: 400\/112;\" \/><\/a><\/p>\n<p style=\"text-align:justify;\">Conclusion\u00a0: eh bien en moyenne les femmes sont l\u00e9g\u00e8rement plus grandes que les hommes\u00a0! Alors, qu&rsquo;en dites-vous\u00a0?<\/p>\n<p style=\"text-align:justify;\">\u00c9videmment, \u00e7a ne va pas\u00a0! Sur le groupe, c&rsquo;est vrai que les femmes sont plus grandes, mais c&rsquo;est vraiment pas de bol. <strong>Si on avait pris un autre groupe ou un groupe plus important, on aurait certainement pas eu ce r\u00e9sultat.<\/strong><\/p>\n<p style=\"text-align:justify;\">Si nous sommes arriv\u00e9s \u00e0 cette conclusion (les femmes sont plus grandes), \u00e7a n&rsquo;est pas parce que le ph\u00e9nom\u00e8ne est vrai, mais simplement \u00e0 cause du hasard. Nous avons obtenu ce qu&rsquo;on appelle <strong>un faux positif<\/strong>.<\/p>\n<p style=\"text-align:justify;\">Dans beaucoup de domaines de la science se pose la m\u00eame question\u00a0: <strong>comment \u00eatre s\u00fbr que ce que l&rsquo;on a d\u00e9couvert est bien r\u00e9el, et pas simplement un faux positif d\u00fb au hasard\u00a0?<\/strong><\/p>\n<h3 style=\"text-align:justify;\"><a href=\"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2013\/11\/highbloodpressure.jpg\"><img decoding=\"async\" class=\"alignright  wp-image-5490 lazyload\" alt=\"pression\" data-src=\"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2013\/11\/highbloodpressure.jpg?w=300\" width=\"240\" height=\"160\" src=\"data:image\/svg+xml;base64,PHN2ZyB3aWR0aD0iMSIgaGVpZ2h0PSIxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciPjwvc3ZnPg==\" style=\"--smush-placeholder-width: 240px; --smush-placeholder-aspect-ratio: 240\/160;\" \/><\/a>Un exemple plus scientifique<\/h3>\n<p style=\"text-align:justify;\">Imaginons que vous vouliez prouver l&rsquo;influence d&rsquo;un g\u00e8ne donn\u00e9 sur le fait de d\u00e9velopper de l&rsquo;hypertension. Il vous faut pour cela un groupe de personnes poss\u00e9dant ce g\u00e8ne, ainsi qu&rsquo;un groupe qui ne le poss\u00e8de pas.<\/p>\n<p style=\"text-align:justify;\">Imaginons que nous ayons r\u00e9uni 20 personnes dans chaque groupe. On mesure la tension art\u00e9rielle de tout ce petit monde, on calcule la moyenne et l&rsquo;\u00e9cart-type dans chacun des deux groupes.<\/p>\n<p style=\"text-align:justify;\">Voici les r\u00e9sultats obtenus :<\/p>\n<p style=\"text-align:justify;\"><a href=\"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2013\/11\/hypertension.png\"><img decoding=\"async\" class=\"aligncenter size-full wp-image-5493 lazyload\" alt=\"hypertension\" data-src=\"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2013\/11\/hypertension.png\" width=\"400\" height=\"96\" src=\"data:image\/svg+xml;base64,PHN2ZyB3aWR0aD0iMSIgaGVpZ2h0PSIxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciPjwvc3ZnPg==\" style=\"--smush-placeholder-width: 400px; --smush-placeholder-aspect-ratio: 400\/96;\" \/><\/a><\/p>\n<p style=\"text-align:justify;\">D&rsquo;apr\u00e8s ces mesures, les gens qui poss\u00e8dent le g\u00e8ne ont en moyenne une tension plus \u00e9lev\u00e9e, mais d&rsquo;un autre c\u00f4t\u00e9 les \u00e9carts-types ne sont pas n\u00e9gligeables. Alors a-t-on le droit de clamer une d\u00e9couverte scientifique et de la publier\u00a0? Ou bien <strong>y-a-t-il un risque que cela soit un faux-positif obtenu par hasard ?<\/strong><\/p>\n<p style=\"text-align:justify;\">Intuitivement, on sent bien que le risque de faux positif d\u00e9pend\u00a0:<\/p>\n<ul style=\"text-align:justify;\">\n<li>de la taille de l&rsquo;\u00e9cart observ\u00e9 : plus l&rsquo;\u00e9cart entre les moyennes des deux groupes est grand, plus le risque est faible;<\/li>\n<li>de la valeur des \u00e9carts-types\u00a0: plus ils sont petits, plus le risque est faible;<\/li>\n<li>du nombre de personnes test\u00e9es\u00a0: plus il y en a, plus le risque est faible.<\/li>\n<\/ul>\n<p style=\"text-align:justify;\"><strong>Pour quantifier pr\u00e9cis\u00e9ment le risque de faux-positif, les scientifiques utilisent une valeur statistique appel\u00e9e \u00ab\u00a0le petit p\u00a0\u00bb<\/strong>.<\/p>\n<h3 style=\"text-align:justify;\">La dictature du \u00ab\u00a0petit p\u00a0\u00bb<\/h3>\n<p style=\"text-align:justify;\">Le \u00ab\u00a0petit p\u00a0\u00bb sert \u00e0 traduire le risque de faux positif, c&rsquo;est-\u00e0-dire <strong>la probabilit\u00e9 d&rsquo;observer un effet dans les donn\u00e9es juste par chance, m\u00eame si l&rsquo;effet n&rsquo;existe pas en r\u00e9alit\u00e9<\/strong>. Cette probabilit\u00e9 peut s&rsquo;estimer \u00e0 partir des donn\u00e9es exp\u00e9rimentales que l&rsquo;on a recueillies, et elle d\u00e9pend de la taille de l&rsquo;effet observ\u00e9, des \u00e9carts-types et du nombre de cas mesur\u00e9.<\/p>\n<p style=\"text-align:justify;\"><strong>Plus le \u00ab\u00a0petit p\u00a0\u00bb est faible, plus les scientifiques sont contents<\/strong> car cela indique que ce qu&rsquo;ils voient dans leur exp\u00e9rience a de bonne chances d&rsquo;\u00eatre r\u00e9el, et pas simplement d\u00fb au hasard. Dans les deux exemples que j&rsquo;ai donn\u00e9, le petit p aurait \u00e9t\u00e9 de 0,85 pour les mesures de taille (\u00e9norme risque de faux positif), et plut\u00f4t autour de 0,01 pour l&rsquo;exemple sur le g\u00e8ne de l&rsquo;hypertension.<\/p>\n<p style=\"text-align:justify;\">Conventionnellement, <strong>les scientifiques consid\u00e8rent qu&rsquo;un r\u00e9sultat est recevable si le petit p est inf\u00e9rieur \u00e0 0,05<\/strong>, c&rsquo;est-\u00e0-dire si les r\u00e9sultats que vous obtenez ont moins de 5% de risque d&rsquo;\u00eatre dus au hasard. Un r\u00e9sultat avec p &lt; 0,05 est dit <strong>\u00ab\u00a0statistiquement significatif\u00a0\u00bb<\/strong>, et c&rsquo;est le s\u00e9same pour pouvoir le publier. Clairement la conclusion tir\u00e9e sur la mesure des tailles (les femmes sont plus grandes) n&rsquo;est pas statistiquement significative, alors que la conclusion sur le g\u00e8ne favorisant l&rsquo;hypertension est assez robuste et pourrait \u00eatre publi\u00e9e.<\/p>\n<p style=\"text-align:justify;\">Vous pouvez prendre n&rsquo;importe quel article biom\u00e9dical, de sciences sociales ou de neurosciences\u00a0: il y a de fortes chances pour qu&rsquo;il mentionne les \u00ab\u00a0petits p\u00a0\u00bb des exp\u00e9riences comme \u00e9tant inf\u00e9rieurs \u00e0 0,05, pour prouver que c&rsquo;est du solide.<\/p>\n<p style=\"text-align:justify;\">Ce qu&rsquo;il y a d&rsquo;\u00e9tonnant, c&rsquo;est que <strong>bien qu&rsquo;il s&rsquo;agisse d&rsquo;une convention, ce seuil de 0,05 r\u00e8gne en ma\u00eetre absolu sur le destin des chercheurs<\/strong>, et ce de mani\u00e8re totalement binaire\u00a0: vous pouvez voir des scientifiques passer du rire aux larmes suivant que le \u00ab\u00a0petit p\u00a0\u00bb de leur r\u00e9sultat sera 0,053 ou 0,048. Avec p=0,048, \u00e0 eux la publication, la gloire et les paillettes; avec 0,053, ils peuvent jeter leur travail \u00e0 la poubelle. Ce seuil artificiel et binaire peut para\u00eetre ridicule, mais c&rsquo;est souvent comme \u00e7a que \u00e7a se passe.<\/p>\n<p style=\"text-align:justify;\">Au passage notez que la plupart des affirmations de comptoir du genre \u00ab\u00a0<em>Ma soeur a eu la grippe; tandis que sa voisine qui prend de l&rsquo;hom\u00e9opathie ne l&rsquo;a pas eu<\/em>\u00a0\u00bb auraient un \u00ab\u00a0petit p\u00a0\u00bb bien ridicule ! Malheureusement c&rsquo;est vrai aussi de beaucoup d&rsquo;affirmations en provenance d&rsquo;hommes politiques ou de journalistes pr\u00e9tendument \u00e9conomiques, du genre : \u00ab\u00a0<em>Il faut taxer les fours micro-ondes. Regardez, le Kyrgyzstan a vot\u00e9 une loi sur la taxation des fours micro-ondes, et depuis l&rsquo;inflation a diminu\u00e9<\/em>\u00ab\u00a0.<\/p>\n<p style=\"text-align:justify;\">Mais revenons \u00e0 la science et \u00e0 l&rsquo;article qui fait d\u00e9bat.<\/p>\n<h3 style=\"text-align:justify;\">La critique de Valen Johnson, et autres travers du petit p<\/h3>\n<p style=\"text-align:justify;\">Ce couperet du \u00ab\u00a0p&lt;0,05\u00a0\u00bb existe depuis des dizaines d&rsquo;ann\u00e9es, et comme je l&rsquo;ai dit, il fait la pluie et le beau temps pour beaucoup de chercheurs en biologie, m\u00e9decine ou sciences sociales. Mais voici que Valen Johnson, chercheur en statistiques \u00e0 l&rsquo;Universit\u00e9 du Texas, vient de jeter un pav\u00e9 dans la mare en argumentant que <strong>cette valeur seuil conventionnelle de 0,05 serait bien trop laxiste, et laisserait passer beaucoup trop de faux positifs<\/strong> (jusqu&rsquo;\u00e0 un 25% d&rsquo;apr\u00e8s ses calculs). Pour \u00e9viter cela, Johnson recommande plut\u00f4t de prendre un seuil beaucoup plus strict de 0.005 voire 0.001\u00a0! Bien entendu, cela signifierait que beaucoup d&rsquo;\u00e9tudes aujourd&rsquo;hui publi\u00e9es ne passeraient pas le seuil fatidique et ne seraient donc pas recevables !<\/p>\n<p style=\"text-align:justify;\">Sans aller jusqu&rsquo;aux calculs savants de Johnson, il existe une critique classique que l&rsquo;on fait \u00e0 ce seuil de 0,05. Imaginons que vous fassiez une exp\u00e9rience concernant un effet qui dans la r\u00e9alit\u00e9 n&rsquo;existe pas (mais vous ne le savez pas). Vous allez tr\u00e8s certainement trouver un p sup\u00e9rieur \u00e0 0,05. Mais si vous faites l&rsquo;exp\u00e9rience suffisamment de fois (20 fois en moyenne), vous allez bien finir par avoir de la chance et trouver un \u00ab\u00a0petit p\u00a0\u00bb inf\u00e9rieur au seuil de 0,05.<\/p>\n<p style=\"text-align:justify;\">Maintenant supposons que vous ne fassiez l&rsquo;exp\u00e9rience qu&rsquo;une seule fois, mais que 20 autres \u00e9quipes de recherche dans le monde fassent la m\u00eame : il y en a bien une sur les 20 qui va avoir de la chance et obtenir p&lt;0,05. Cette derni\u00e8re pourra publier ses r\u00e9sultats, et on entendra jamais parler des 19 autres qui auront jet\u00e9 leurs donn\u00e9es \u00e0 la poubelle. <strong>Du fait que les revues scientifiques publient les r\u00e9sultats positifs mais rarement les r\u00e9sultats n\u00e9gatifs<\/strong>, il se peut fort bien que pas mal des r\u00e9sultats publi\u00e9s avec \u00ab\u00a0petit p\u00a0\u00bb juste en dessous du seuil soient en r\u00e9alit\u00e9 des faux positifs.<\/p>\n<p style=\"text-align:justify;\">Derni\u00e8re critique que l&rsquo;on fait souvent \u00e0 la dictature du \u00ab\u00a0petit p\u00a0\u00bb, elle a tendance \u00e0 exag\u00e9rer des choses peu int\u00e9ressantes en pratique. Un p&lt;0,05 ne signifie pas que l&rsquo;effet est grand, juste qu&rsquo;il est statistiquement significatif par rapport \u00e0 la barre d&rsquo;erreur. Cette confusion est renforc\u00e9e par le fait qu&rsquo;en langage courant, le terme \u00ab\u00a0significatif\u00a0\u00bb est synonyme de \u00ab\u00a0grand\u00a0\u00bb, alors que \u00e7a n&rsquo;est pas le cas en statistiques. Ainsi un m\u00e9dicament qui fait baisser la tension de 0.01 points en moyenne n&rsquo;a peut \u00eatre pas grand int\u00e9r\u00eat th\u00e9rapeutique, m\u00eame si l&rsquo;effet est bien r\u00e9el. C&rsquo;est ce qu&rsquo;on appelle un r\u00e9sultat \u00ab\u00a0statistiquement significatif\u00a0\u00bb mais \u00ab\u00a0cliniquement non-significatif\u00a0\u00bb.<\/p>\n<p style=\"text-align:justify;\">Bref, quand vous lisez le r\u00e9sultat d&rsquo;une \u00e9tude, cherchez le petit p, mais pas seulement lui&#8230;Et pour r\u00e9pondre \u00e0 la question qui donne son titre au billet : souvenez-vous qu&rsquo;avec le petit p on ne prouve jamais que les r\u00e9sultats soient vrais, juste qu&rsquo;il est improbable qu&rsquo;ils soient faux.<\/p>\n<p style=\"text-align:justify;\"><a href=\"http:\/\/www.pnas.org\/content\/early\/2013\/10\/28\/1313476110.full.pdf+html\" target=\"_blank\" rel=\"noopener\">L&rsquo;article de Johnson dans PNAS<\/a><\/p>\n<p style=\"text-align:justify;\"><span style=\"text-decoration:underline;\">Autres billets, ici et ailleurs :<\/span><\/p>\n<p style=\"text-align:justify;\">Sur les pi\u00e8ges statistiques : <a title=\"Le paradoxe de\u00a0Simpson\" href=\"https:\/\/scienceetonnante.com\/blog\/2013\/04\/29\/le-paradoxe-de-simpson\/\">le paradoxe de Simpson<\/a><\/p>\n<p style=\"text-align:justify;\">Sur les faux positifs en m\u00e9decine : <a title=\"Les probabilit\u00e9s conditionnelles (Bayes level\u00a01)\" href=\"https:\/\/scienceetonnante.com\/blog\/2012\/10\/08\/les-probabilites-conditionnelles-bayes-level-1\/\">Les probabilit\u00e9s conditionnelles<\/a><\/p>\n<p style=\"text-align:justify;\">Sur le petit p, un billet r\u00e9cent (et bien plus complet que le mien) chez <a href=\"http:\/\/freakonometrics.hypotheses.org\/9724\" target=\"_blank\" rel=\"noopener\">Freakonometrics<\/a><\/p>\n<hr \/>\n<h3 style=\"text-align:justify;\"><em>Pour aller plus loin<\/em><\/h3>\n<p style=\"text-align:justify;\"><em>Une premi\u00e8re remarque\u00a0: l&rsquo;utilisation du petit p est omnipr\u00e9sente en m\u00e9decine, sciences sociales, en \u00e9conom\u00e9trie et dans certains domaines de la biologie. En revanche, on n&rsquo;en parle pour ainsi dire jamais en physique. Pourquoi\u00a0? Parce qu&rsquo;en g\u00e9n\u00e9ral les exp\u00e9riences sont plus facilement reproductibles. Attention, quand je dis \u00ab\u00a0facilement reproductibles \u00bb, je ne dis pas que la manip est ais\u00e9e, mais juste que si vous arrivez \u00e0 la refaire, il y a de fortes chances d&rsquo;obtenir les m\u00eames r\u00e9sultats. En effet en g\u00e9n\u00e9ral en physique il y a beaucoup moins de facteurs de variabilit\u00e9 que l&rsquo;on ne ma\u00eetrise pas.<\/em><\/p>\n<p style=\"text-align:justify;\"><em>Il y a un domaine qui fait exception\u00a0: c&rsquo;est la physique des particules. Au CERN on s&rsquo;amuse \u00e0 balancer des particules les unes contre les autres et \u00e0 observer ce qui se passe, c&rsquo;est-\u00e0-dire \u00e0 regarder les particules \u00e9mises par la collision et mesurer leur \u00e9nergie. C&rsquo;est un ph\u00e9nom\u00e8ne qui comporte une grande part d&rsquo;al\u00e9atoire et donc il faut faire et refaire des collisions en grand nombre. Ensuite on compare tout ce qu&rsquo;on a obtenu avec ce que pr\u00e9dit le \u00ab\u00a0mod\u00e8le standard\u00a0\u00bb. Si dans une certaine gamme d&rsquo;\u00e9nergie on obtient un peu plus de signal que ce qu&rsquo;a pr\u00e9dit la th\u00e9orie, c&rsquo;est peut \u00eatre le signe de l&rsquo;existence d&rsquo;une nouvelle particule\u00a0! Mais il faut que l&rsquo;\u00e9cart soit suffisamment grand pour qu&rsquo;on ait le droit d&rsquo;affirmer qu&rsquo;il y a quelque chose. <\/em><\/p>\n<p style=\"text-align:justify;\"><em><a href=\"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2013\/11\/cms-excess-300x199.png\"><img decoding=\"async\" class=\"alignright size-full wp-image-5506 lazyload\" alt=\"CMS-excess-300x199\" data-src=\"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2013\/11\/cms-excess-300x199.png\" width=\"300\" height=\"199\" src=\"data:image\/svg+xml;base64,PHN2ZyB3aWR0aD0iMSIgaGVpZ2h0PSIxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciPjwvc3ZnPg==\" style=\"--smush-placeholder-width: 300px; --smush-placeholder-aspect-ratio: 300\/199;\" \/><\/a><\/em><em>Ci-contre on voit un des spectres mesur\u00e9s dans l&rsquo;exp\u00e9rience CMS (destin\u00e9e \u00e0 trouver le boson de Higgs), avec ce qui attendu selon le mod\u00e8le standard (pointill\u00e9s) et ce qui a \u00e9t\u00e9 mesur\u00e9. On voit qu&rsquo;il y a une bosse autour de 120-125 MeV, mais \u00e0 l&rsquo;\u00e9poque o\u00f9 cette courbe a \u00e9t\u00e9 publi\u00e9e, cet exc\u00e8s n&rsquo;\u00e9tait pas suffisamment \u00e9lev\u00e9 pour que les scientifiques aient le droit de clamer une d\u00e9couverte. C&rsquo;est pour cela qu&rsquo;il a fallut attendre, et que l&rsquo;on a enfin entendu il y a quelques mois que les physiciens \u00e9taient s\u00fbrs \u00ab\u00a0\u00e0 99.99%\u00a0\u00bb d&rsquo;avoir trouv\u00e9 le boson de Higgs. C&rsquo;est bien entendu une formulation exag\u00e9r\u00e9e, ce que cela signifie c&rsquo;est que la probabilit\u00e9 que l&rsquo;exc\u00e8s d&rsquo;\u00e9nergie observ\u00e9 \u00e0 125 MeV soit un faux positif est de seulement 0.01%. Au passage, on a montr\u00e9 \u00ab\u00a0\u00e0 99.99%\u00a0\u00bb qu&rsquo;il doit exister un nouvelle particule, pas automatiquement que celle-ci soit LE boson attendu.<\/em><\/p>\n<p style=\"text-align:justify;\"><em>Ensuite, j&rsquo;ai donn\u00e9 une vision tr\u00e8s sch\u00e9matique du petit p, mais il faut bien comprendre que son calcul d\u00e9pend de la nature des donn\u00e9es que l&rsquo;on regarde et de l&rsquo;affirmation que l&rsquo;on consid\u00e8re : c&rsquo;est tout le domaine des \u00ab\u00a0tests statistiques\u00a0\u00bb. Chaque test (comme le t-test de Student) est en principe adapt\u00e9 dans un contexte donn\u00e9. Mais le choix du test statistique rajoute aussi un facteur de confusion car il est parfois possible de choisir le test qui nous arrange pour minimiser le petit p.<\/em><\/p>\n<p style=\"text-align:justify;\"><em><a href=\"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2013\/11\/p-value-hacking.jpg\"><img decoding=\"async\" class=\"alignright size-medium wp-image-5488 lazyload\" alt=\"p value hacking\" data-src=\"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2013\/11\/p-value-hacking.jpg?w=300\" width=\"300\" height=\"287\" src=\"data:image\/svg+xml;base64,PHN2ZyB3aWR0aD0iMSIgaGVpZ2h0PSIxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciPjwvc3ZnPg==\" style=\"--smush-placeholder-width: 300px; --smush-placeholder-aspect-ratio: 300\/287;\" \/><\/a>Il faut comprendre qu&rsquo;il y a une telle pression sur les chercheurs pour passer ce seuil fatidique de 0.05, que cela peut \u00eatre tr\u00e8s tentant de faire du \u00ab\u00a0hacking\u00a0\u00bb de petit p. R\u00e9cemment Matthew Hankins a <a href=\"http:\/\/twitter.com\/mc_hankins\/status\/400387615238524928\" target=\"_blank\" rel=\"noopener\">tweet\u00e9<\/a> ce graphique, montrant la distribution des petit p trouv\u00e9s sur le site de publication Google Scholar. Le fort exc\u00e8s \u00e0 p=0.05 est bien s\u00fbr intrigant voire anormal, et laisse penser que les chercheurs ont \u00ab\u00a0biais\u00a0\u00bb vers cette valeur. Publish or perish&#8230;(bon ce graphique n&rsquo;est pas lui-m\u00eame une \u00e9tude scientifique).<br \/>\n<\/em><\/p>\n<p style=\"text-align:justify;\"><em>Matthew Hankins a \u00e9galement compil\u00e9 <a href=\"http:\/\/mchankins.wordpress.com\/2013\/04\/21\/still-not-significant-2\/\" target=\"_blank\" rel=\"noopener\">une liste hilarante<\/a> des termes que les chercheurs utilisent dans leurs publications pour essayer de faire passer (quand m\u00eame) des petits p sup\u00e9rieurs \u00e0 0.05, du genre \u00ab\u00a0a considerable trend toward significance (p=0.069)\u00a0\u00bb, \u00ab\u00a0a strong tendency towards statistical significance (p=0.051)\u00a0\u00bb, etc.<\/em><\/p>\n<p style=\"text-align:justify;\"><em>Enfin un facteur qui peut justement biaiser l&rsquo;analyse des petits p, c&rsquo;est quand on fait soi-m\u00eame un grand nombre de tests. Reprenons notre exemple de l&rsquo;influence du g\u00e8ne sur l&rsquo;hypertension. Si vous testez ainsi 100 g\u00e8nes diff\u00e9rents, m\u00eame si aucun n&rsquo;a d&rsquo;influence r\u00e9elle, il y en a bien quelques uns qui vont ressortir \u00ab\u00a0 par chance\u00a0\u00bb avec un p&lt;0.05. Cela s&rsquo;appelle faire des comparaisons multiples\u00a0: en principe dans un article de recherche il faut le mentionner et en cons\u00e9quence \u00eatre encore plus exigeant sur le petit p n\u00e9cessaire pour annoncer sa d\u00e9couverte. Mais qui sait si c&rsquo;est toujours bien fait.<\/em><\/p>\n<p style=\"text-align:justify;\"><em>Je dois avouer que je n&rsquo;ai pas cherch\u00e9 \u00e0 comprendre les d\u00e9tails du papier de Johnson. Son id\u00e9e est de comparer la m\u00e9thode classique du \u00ab\u00a0petit p\u00a0\u00bb (qui est en essence \u00ab\u00a0fr\u00e9quentiste\u00a0\u00bb) \u00e0 une m\u00e9thode bay\u00e9sienne. Et il trouve que \u00ab\u00a0en vision bay\u00e9sienne\u00a0\u00bb, un petit p&lt;0.05 para\u00eet bien peu exigeant. Il plaide donc pour l&rsquo;abaissement des seuils, mais \u00e9galement l&rsquo;introduction de m\u00e9thodes bay\u00e9siennes dans les \u00e9valuations statistiques.<\/em><\/p>\n<p style=\"text-align:justify;\"><em>De mani\u00e8re amusante, la physique des particules fait un petit peu du bay\u00e9sien, puisqu&rsquo;on consid\u00e8re que pour annoncer un nouveau ph\u00e9nom\u00e8ne, il faut \u00ab\u00a05 sigmas\u00a0\u00bb, mais pour le confirmer, 3 sigmas suffisent. Donc on prend bien en compte le prior.<br \/>\n<\/em><\/p>\n<p><span style=\"text-decoration:underline;\"><em>Encore des r\u00e9f\u00e9rences :<\/em><\/span><\/p>\n<p><a title=\"Le boson de Higgs expliqu\u00e9 \u00e0 ma\u00a0fille\" href=\"https:\/\/scienceetonnante.com\/blog\/2011\/11\/21\/le-boson-de-higgs-explique-a-ma-fille\/\"><em>Sur le boson de Higgs<\/em><\/a><\/p>\n<p><em>Sur les fr\u00e9quentistes et les bay\u00e9siens : <a title=\"The Doomsday argument : les math\u00e9matiques de la fin du\u00a0monde\" href=\"https:\/\/scienceetonnante.com\/blog\/2012\/12\/17\/the-doomsday-argument-les-mathematiques-de-la-fin-du-monde\/\">l&rsquo;argument du Doomsday<\/a> (et des chars allemands)<\/em><\/p>\n<p><em><a href=\"http:\/\/passeurdesciences.blog.lemonde.fr\/2013\/11\/13\/une-etude-ebranle-un-pan-de-la-methode-scientifique\/\" target=\"_blank\" rel=\"noopener\">Pierre Barth\u00e9l\u00e9my<\/a> a parl\u00e9 du papier de Johnson, et le d\u00e9bat en commentaire est int\u00e9ressant. Le pauvre Pierre est attaqu\u00e9 par des chercheurs pour oser jeter le discr\u00e9dit sur la science.<br \/>\n<\/em><\/p>\n<p>&nbsp;<\/p>\n","protected":false},"excerpt":{"rendered":"<p>La nouvelle a fait grand bruit parmi les chercheurs\u00a0: d&rsquo;apr\u00e8s un statisticien am\u00e9ricain, il se pourrait que presque 25% des r\u00e9sultats publi\u00e9s dans litt\u00e9rature scientifique soient tout simplement faux. Voil\u00e0 qui ne va pas aider la science, d\u00e9j\u00e0 pas mal discr\u00e9dit\u00e9e aux yeux d&rsquo;une partie de nos concitoyens. Mais qu&rsquo;est-ce que cette nouvelle veut dire\u00a0?<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"jetpack_post_was_ever_published":false,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[4],"tags":[48,33],"class_list":{"0":"post-5481","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-mathematiques","7":"tag-probabilites","8":"tag-statistiques"},"jetpack_featured_media_url":"","jetpack_sharing_enabled":true,"post_mailing_queue_ids":[],"_links":{"self":[{"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/posts\/5481","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/comments?post=5481"}],"version-history":[{"count":0,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/posts\/5481\/revisions"}],"wp:attachment":[{"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/media?parent=5481"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/categories?post=5481"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/tags?post=5481"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}