{"id":8761,"date":"2020-04-17T17:01:34","date_gmt":"2020-04-17T15:01:34","guid":{"rendered":"https:\/\/sciencetonnante.wordpress.com\/?p=8761"},"modified":"2020-09-01T10:18:59","modified_gmt":"2020-09-01T08:18:59","slug":"austerite-excel","status":"publish","type":"post","link":"https:\/\/scienceetonnante.com\/blog\/2020\/04\/17\/austerite-excel\/","title":{"rendered":"Les politiques d&rsquo;aust\u00e9rit\u00e9, \u00e0 cause d&rsquo;une erreur sous Excel ?"},"content":{"rendered":"<p>En ces temps troubl\u00e9s, j&rsquo;ai eu bien du mal \u00e0 trouver un sujet \u00e0 traiter qui me motive, et qui nous sorte des r\u00e9flexions sur le COVID-19. Le salut est finalement venu d&rsquo;un sujet un peu en dehors de ma zone habituelle&#8230;et qui n&rsquo;est pas sans r\u00e9sonance avec l&rsquo;actualit\u00e9 !<\/p>\n<p><iframe title=\"Les politiques d&#039;aust\u00e9rit\u00e9 : \u00e0 cause d&#039;une erreur Excel ?\" width=\"770\" height=\"433\" data-src=\"https:\/\/www.youtube.com\/embed\/yeX_Zs7zztY?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture\" allowfullscreen src=\"data:image\/svg+xml;base64,PHN2ZyB3aWR0aD0iMSIgaGVpZ2h0PSIxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciPjwvc3ZnPg==\" class=\"lazyload\" data-load-mode=\"1\"><\/iframe><\/p>\n<p>Tout d&rsquo;abord, je voudrais remercier celui par qui ce sujet est arriv\u00e9 \u00e0 mes neurones : Cyrille Rossant dont <a href=\"https:\/\/ipython-books.github.io\/26-ten-tips-for-conducting-reproducible-interactive-computing-experiments\/\" target=\"_blank\" rel=\"noopener\">l&rsquo;excellent livre sur le calcul interactif en Python<\/a> mentionnait l&rsquo;article de Reinhart et Rogoff comme une bonne raison de s&rsquo;int\u00e9resser de pr\u00e8s \u00e0 la reproductibilit\u00e9 des exp\u00e9riences num\u00e9riques.<\/p>\n<p>Je crois que j&rsquo;en avais d\u00e9j\u00e0 entendu parler (probablement dans <a href=\"https:\/\/www.lemonde.fr\/sciences\/article\/2013\/07\/15\/pour-une-recherche-reproductible-publiez-vos-codes-et-donnees_3447825_1650684.html\" target=\"_blank\" rel=\"noopener\">cette tribune<\/a>), mais l&rsquo;histoire \u00e9tait sortie de ma m\u00e9moire&#8230;<!--more--><\/p>\n<h3>Une sombre histoire de moyenne<\/h3>\n<p>Il y a un point technique important que j&rsquo;\u00e9voque dans la vid\u00e9o, sans le d\u00e9tailler : la mani\u00e8re \u00ab\u00a0bizarre\u00a0\u00bb de faire les moyennes, utilis\u00e9e par R&amp;R dans leur papier. Voici le d\u00e9tail.<\/p>\n<p>Dans la base, on a environ 1200 lignes : chaque ligne correspond \u00e0 un couple Ann\u00e9e-Pays. Intuitivement, si l&rsquo;on veut r\u00e9aliser une moyenne, on va moyenner sur chaque ann\u00e9e-pays, de fa\u00e7on \u00e0 ce que chaque ligne de donn\u00e9e ait un poids identique dans le r\u00e9sultat final.<\/p>\n<p>Mais ce qu&rsquo;on fait R&amp;R, c&rsquo;est d&rsquo;abord de grouper en 4 cat\u00e9gories de dette par pays, puis de moyenner. On le voit bien sur la capture d&rsquo;\u00e9cran que je montre dans la vid\u00e9o :<\/p>\n<p><a href=\"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2020\/04\/reinhart_rogoff_coding_error_0.png\"><img decoding=\"async\" class=\"aligncenter size-full wp-image-8767 lazyload\" data-src=\"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2020\/04\/reinhart_rogoff_coding_error_0.png\" alt=\"\" width=\"424\" height=\"419\" data-srcset=\"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2020\/04\/reinhart_rogoff_coding_error_0.png 424w, https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2020\/04\/reinhart_rogoff_coding_error_0-300x296.png 300w\" data-sizes=\"(max-width: 424px) 100vw, 424px\" src=\"data:image\/svg+xml;base64,PHN2ZyB3aWR0aD0iMSIgaGVpZ2h0PSIxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciPjwvc3ZnPg==\" style=\"--smush-placeholder-width: 424px; --smush-placeholder-aspect-ratio: 424\/419;\" \/><\/a><\/p>\n<p>Cela peut paraitre assez intuitif de faire comme \u00e7a, mais cela cache une faille. Sur les chiffres que l&rsquo;on voit, le 2.4% de UK dans la tranche \u00ab\u00a0&gt;90%\u00a0\u00bb est une moyenne obtenue sur 19 lignes de donn\u00e9es (toutes les ann\u00e9es entre 1946 et 1964, o\u00f9 le Royaume-Uni a \u00e9t\u00e9 au-dessus de 90% de dette). En revanche, le -7.9% de la Nouvelle-Z\u00e9lande correspond \u00e0 &#8230; une seule ann\u00e9e : l&rsquo;ann\u00e9e 1951.<\/p>\n<p>A la fin, les deux auront le m\u00eame poids dans la moyenne qui donnera le fameux -0.1% qui s&rsquo;est r\u00e9v\u00e9l\u00e9 faux. Si on ajoute \u00e0 cela l&rsquo;oubli de certaines donn\u00e9es et de certains pays dans la moyenne, on voit que le fameux r\u00e9sultat est d\u00fb uniquement \u00e0 cela : l&rsquo;ann\u00e9e 1951 en Nouvelle-Z\u00e9lande. Si on enl\u00e8ve juste ce point, le -0.1% devient un +1,2%.<\/p>\n<p>Bref, le r\u00e9sultat cl\u00e9 de R&amp;R, c&rsquo;est juste d\u00fb \u00e0 l&rsquo;ann\u00e9e 1951 en Nouvelle-Z\u00e9lande et ses -7.6% de (d\u00e9)croissance.\u00a0Ah oui petit d\u00e9tail savoureux : en plus des 3 erreurs mentionn\u00e9es dans la vid\u00e9o, il y avait aussi une 4e erreur \u00ab\u00a0de transcription\u00a0\u00bb qui fait que le vrai chiffre de -7.6% pour la NZ avait \u00e9t\u00e9 mal recopi\u00e9 en -7.9%.<\/p>\n<p><em>Edit du 20\/04 : Comme beaucoup l&rsquo;ont remarqu\u00e9, il y a aussi le caract\u00e8re totalement arbitraire du fait de segmenter la dette en 4 tranches 0\/30\/60\/90%. De ce que j&rsquo;en sais, c&rsquo;est effectivement consid\u00e9r\u00e9 comme une mauvaise pratique en statistiques de prendre une variable continue, et de la discr\u00e9tiser de la sorte : on perd en information et on gagne en arbitraire.<\/em><\/p>\n<h3>Que celui qui n&rsquo;a jamais fait d&rsquo;erreur Excel leur jette la premi\u00e8re pierre&#8230;<\/h3>\n<p>J&rsquo;esp\u00e8re que le ton de la vid\u00e9o fait correctement ressortir le message principal, qui n&rsquo;est pas de se moquer d&rsquo;une boulette Excel par des pontes de Harvard, mais surtout de mettre en valeur les structures existantes pour \u00e9viter que ces erreurs (humaines, et normales) aient des cons\u00e9quences :<\/p>\n<p><strong>La revue par les pairs :<\/strong>\u00a0dont je ne comprends pas toujours pourquoi elle ne s&rsquo;est pas appliqu\u00e9e dans ce cas l\u00e0. Apparemment c&rsquo;\u00e9tait un num\u00e9ro de la revue regroupant des actes de conf\u00e9rence. Mais pourquoi pas de peer-review ? Et comment un article peut-il alors se pr\u00e9valoir du prestige de la revue ?<\/p>\n<p><i><strong>Edit du 20\/04 :<\/strong> Suite \u00e0 plusieurs conversations avec des \u00e9conomistes professionnels, j&rsquo;ai un peu \u00e9clairci cette situation. Avant 2018, le num\u00e9ro du mois de Mai de l&rsquo;American Economic Review (AER) \u00e9tait consacr\u00e9 aux proceedings de la conf\u00e9rence de l&rsquo;American Economic Association. Pour les \u00e9conomistes, il \u00e9tait semble-t-il bien connu que ce num\u00e9ro de Mai \u00e9tait sp\u00e9cial et diff\u00e9rent, sans peer-review formel, avec des papiers plus courts, etc. Donc les \u00ab\u00a0pros\u00a0\u00bb savaient faire la diff\u00e9rence en voyant que \u00ab\u00a0c&rsquo;\u00e9tait dans le num\u00e9ro du mois de Mai\u00a0\u00bb. Toutefois d\u00e8s qu&rsquo;on est un peu ext\u00e9rieur au domaine, si on n&rsquo;a pas cette\u00a0connaissance, on ne peut pas deviner qu&rsquo;une publication \u00ab\u00a0dans le num\u00e9ro de Mai\u00a0\u00bb n&rsquo;a pas la m\u00eame valeur qu&rsquo;une publication dans les autres num\u00e9ros de l&rsquo;AER. Depuis 2018, les choses ont \u00e9t\u00e9 clarifi\u00e9es car l&rsquo;\u00e9diteur a d\u00e9cid\u00e9 de transformer ce num\u00e9ro sp\u00e9cial en une \u00e9dition \u00e0 part enti\u00e8re, avec un vrai nom diff\u00e9rent \u00ab\u00a0AEA Papers&amp;Proceedings\u00a0\u00bb. Mais en 2010, quand le R&amp;R a \u00e9t\u00e9 publi\u00e9, cette distinction n&rsquo;avait pas encore \u00e9t\u00e9 faite.<\/i><\/p>\n<p><strong>Le partage des donn\u00e9es et des codes :<\/strong> il faut reconnaitre que R&amp;R ont quand m\u00eame eu l&rsquo;honn\u00eatet\u00e9 intellectuelle de partager leurs donn\u00e9es. On n&rsquo;aurait pas forc\u00e9ment pari\u00e9 dessus, d&rsquo;autant que la demande \u00e9manait de ce qui semble \u00eatre un \u00ab\u00a0petit\u00a0\u00bb d\u00e9partement d&rsquo;\u00e9conomie voisin. A la fin de cette histoire, c&rsquo;est quand m\u00eame David qui a ridiculis\u00e9 Goliath !<\/p>\n<p>Par ailleurs, sur <a href=\"https:\/\/twitter.com\/paldama\/status\/1251835129741430784\" target=\"_blank\" rel=\"noopener\">ce fil Twitter<\/a> : quelques compl\u00e9ments s\u00e9rieux \u00a0d&rsquo;un macro-\u00e9conomiste sur ce que l&rsquo;on comprend des liens entre dette et croissance.<\/p>\n<h3>Quelle influence r\u00e9elle ?<\/h3>\n<p>C&rsquo;est probablement mission impossible d&rsquo;essayer de savoir quelle influence r\u00e9elle a exerc\u00e9 cet article sur les d\u00e9cisions politiques prises \u00e0 l&rsquo;\u00e9poque.<\/p>\n<p>Je vous balance en vrac quelques r\u00e9f\u00e9rences int\u00e9ressantes :<\/p>\n<p><a href=\"https:\/\/rooseveltinstitute.org\/researchers-finally-replicated-reinhart-rogoff-and-there-are-serious-problems\/\" target=\"_blank\" rel=\"noopener\">https:\/\/rooseveltinstitute.org\/researchers-finally-replicated-reinhart-rogoff-and-there-are-serious-problems\/<\/a><\/p>\n<p><a href=\"https:\/\/www.bbc.com\/news\/magazine-22223190\" target=\"_blank\" rel=\"noopener\">https:\/\/www.bbc.com\/news\/magazine-22223190<\/a><\/p>\n<p><a href=\"https:\/\/theconversation.com\/the-reinhart-rogoff-error-or-how-not-to-excel-at-economics-13646\" target=\"_blank\" rel=\"noopener\">https:\/\/theconversation.com\/the-reinhart-rogoff-error-or-how-not-to-excel-at-economics-13646<\/a><\/p>\n<p><a href=\"https:\/\/qz.com\/75117\/how-influential-was-the-study-warning-high-debt-kills-growth\/\" target=\"_blank\" rel=\"noopener\">https:\/\/qz.com\/75117\/how-influential-was-the-study-warning-high-debt-kills-growth\/<\/a><\/p>\n<p><a href=\"https:\/\/www.newyorker.com\/news\/john-cassidy\/the-reinhart-and-rogoff-controversy-a-summing-up\" target=\"_blank\" rel=\"noopener\">https:\/\/www.newyorker.com\/news\/john-cassidy\/the-reinhart-and-rogoff-controversy-a-summing-up<\/a><\/p>\n<p><a href=\"https:\/\/www.theatlantic.com\/business\/archive\/2013\/04\/forget-excel-this-was-reinhart-and-rogoffs-biggest-mistake\/275088\/\" target=\"_blank\" rel=\"noopener\">https:\/\/www.theatlantic.com\/business\/archive\/2013\/04\/forget-excel-this-was-reinhart-and-rogoffs-biggest-mistake\/275088\/<\/a><\/p>\n<p><a href=\"https:\/\/www.washingtonpost.com\/news\/wonk\/wp\/2013\/04\/16\/is-the-best-evidence-for-austerity-based-on-an-excel-spreadsheet-error\/\" target=\"_blank\" rel=\"noopener\">https:\/\/www.washingtonpost.com\/news\/wonk\/wp\/2013\/04\/16\/is-the-best-evidence-for-austerity-based-on-an-excel-spreadsheet-error\/<\/a><\/p>\n<p>Une derni\u00e8re r\u00e9f\u00e9rence, que je n&rsquo;ai pas os\u00e9 citer dans la vid\u00e9o par manque de source. Il semblerait que Ken Rogoff ait donn\u00e9 une interview au Nouvel Obs en 2010 pour parler \u00a0de ces travaux. Mais je n&rsquo;en ai retrouv\u00e9 trace que sur un blog, pas sur le site du Nouvel Obs. Peut-\u00eatre l&rsquo;interview a-t-elle \u00e9t\u00e9 retir\u00e9e suite \u00e0 l&rsquo;affaire ?<\/p>\n<p><a href=\"https:\/\/leblogalupus.com\/2010\/10\/04\/kenneth-rogoff-\u00ab-la-crise-des-dettes-souveraines-n\u2019est-pas-finie-\u00bb\/\" target=\"_blank\" rel=\"noopener\">https:\/\/leblogalupus.com\/2010\/10\/04\/kenneth-rogoff-\u00ab-la-crise-des-dettes-souveraines-n\u2019est-pas-finie-\u00bb\/<\/a><\/p>\n<h3>Edit du 20\/04 : Fraude ou boulette ?<\/h3>\n<p>Dans les commentaires de la vid\u00e9o, pas mal de gens estiment qu&rsquo;il s&rsquo;agit l\u00e0 d&rsquo;une fraude \u00e9vidente de la part de R&amp;R, possiblement motiv\u00e9e par un agenda politique, voire de la corruption (hypoth\u00e8se assortie parfois d&rsquo;une dose de th\u00e9orie du complot&#8230;)<\/p>\n<p>C&rsquo;est \u00e9videmment tr\u00e8s difficile de juger s&rsquo;il y a fraude ou pas. L&rsquo;hypoth\u00e8se me parait improbable, car dans ce cas ils n&rsquo;auraient pas fourni leurs donn\u00e9es aux chercheurs de Amherst, rien ne les y obligeait.<\/p>\n<p>Si j&rsquo;avais \u00e0 parier, je miserai plut\u00f4t sur un biais de confirmation. Ces chercheurs avaient peut-\u00eatre \u00ab\u00a0envie\u00a0\u00bb de trouver un r\u00e9sultat de ce genre, et une fois qu&rsquo;ils l&rsquo;ont eu (suite \u00e0 une\/des erreurs), ils n&rsquo;ont pas cherch\u00e9 plus loin.<\/p>\n<h3>Edit du 20\/04 : Corr\u00e9lation \/ Causalit\u00e9<\/h3>\n<p>Beaucoup dans les commentaires ont aussi not\u00e9 que je n&rsquo;insistais pas assez sur le glissement corr\u00e9lation\/causalit\u00e9. Il faut dire que dans le papier, le discours porte uniquement sur une \u00ab\u00a0association\u00a0\u00bb entre dette et croissances, les chercheurs se gardent bien de parler de causalit\u00e9.<\/p>\n<p>Pour le dire vite, sur ce point pr\u00e9cis, le papier est plut\u00f4t \u00ab\u00a0clean\u00a0\u00bb.\u00a0Mais clairement dans la fa\u00e7on dont \u00e7a a \u00e9t\u00e9 \u00ab\u00a0vendu\u00a0\u00bb ensuite, cela a pu \u00eatre interpr\u00e9t\u00e9 ou pr\u00e9sent\u00e9 comme une causalit\u00e9.<\/p>\n<h3>Edit du 20\/04 : Science reproductible et open ?<\/h3>\n<p>Sur Twitter, il y a eu <a href=\"https:\/\/twitter.com\/juliensalort\/status\/1251579986156404744\" target=\"_blank\" rel=\"noopener\">des d\u00e9bats int\u00e9ressants<\/a> sur la pertinence ou pas de partager toutes ses donn\u00e9es (et les d\u00e9fauts que cela a dans un environnement de recherche comp\u00e9titif \u00ab\u00a0publish or perish\u00a0\u00bb). Je vous y renvoie !<\/p>\n<p>Et sinon, on m&rsquo;a signal\u00e9 que l&rsquo;INRIA a un MOOC sur la recherche reproductible, qui met notamment en avant l&rsquo;usage de Notebooks (comme vous m&rsquo;avez vu le faire dans la vid\u00e9o avec JupyterLab)<\/p>\n<p>Le MOOC <a href=\"https:\/\/www.fun-mooc.fr\/courses\/course-v1:inria+41016+self-paced\/about\" target=\"_blank\" rel=\"noopener\">Recherche reproductible : principes m\u00e9thodologiques pour une science transparente<\/a><\/p>\n<p>Et pour finir, ceux qui voudraient jouer avec le code et mon analyse rudimentaire en Python : <a href=\"https:\/\/github.com\/scienceetonnante\/Reinhart-Rogoff\" target=\"_blank\" rel=\"noopener\">https:\/\/github.com\/scienceetonnante\/Reinhart-Rogoff<\/a><\/p>\n<p>&nbsp;<\/p>\n","protected":false},"excerpt":{"rendered":"<p>En ces temps troubl\u00e9s, j&rsquo;ai eu bien du mal \u00e0 trouver un sujet \u00e0 traiter qui me motive, et qui nous sorte des r\u00e9flexions sur le COVID-19. Le salut est finalement venu d&rsquo;un sujet un peu en dehors de ma zone habituelle&#8230;et qui n&rsquo;est pas sans r\u00e9sonance avec l&rsquo;actualit\u00e9 ! Tout d&rsquo;abord, je voudrais remercier<\/p>\n","protected":false},"author":1,"featured_media":8914,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"jetpack_post_was_ever_published":false,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[4,11],"tags":[17,33],"class_list":{"0":"post-8761","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-mathematiques","8":"category-sciences-sociales","9":"tag-economie","10":"tag-statistiques"},"jetpack_featured_media_url":"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2020\/04\/vignette_fond2.jpg","jetpack_sharing_enabled":true,"post_mailing_queue_ids":[],"_links":{"self":[{"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/posts\/8761","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/comments?post=8761"}],"version-history":[{"count":1,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/posts\/8761\/revisions"}],"predecessor-version":[{"id":8915,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/posts\/8761\/revisions\/8915"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/media\/8914"}],"wp:attachment":[{"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/media?parent=8761"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/categories?post=8761"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/tags?post=8761"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}