{"id":7914,"date":"2016-04-08T17:00:48","date_gmt":"2016-04-08T15:00:48","guid":{"rendered":"https:\/\/sciencetonnante.wordpress.com\/?p=7914"},"modified":"2021-02-12T08:47:09","modified_gmt":"2021-02-12T07:47:09","slug":"le-deep-learning","status":"publish","type":"post","link":"https:\/\/scienceetonnante.com\/blog\/2016\/04\/08\/le-deep-learning\/","title":{"rendered":"Le deep learning"},"content":{"rendered":"<p>Vous entendez parler du <em>deep learning<\/em>, mais vous n&rsquo;en avez pas encore compris la profondeur ? Cette vid\u00e9o est faite pour vous !<\/p>\n<p><iframe title=\"Le deep learning\" width=\"770\" height=\"433\" data-src=\"https:\/\/www.youtube.com\/embed\/trWrEWfhTVg?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture\" allowfullscreen src=\"data:image\/svg+xml;base64,PHN2ZyB3aWR0aD0iMSIgaGVpZ2h0PSIxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciPjwvc3ZnPg==\" class=\"lazyload\" data-load-mode=\"1\"><\/iframe><\/p>\n<p>Fid\u00e8le \u00e0 mon habitude, voici la liste des choses essentielles, mais pourtant \u00e9limin\u00e9es par manque de place et pour rester accessible au plus grand nombre.<!--more--><\/p>\n<h3>L&rsquo;apprentissage non-supervis\u00e9<\/h3>\n<p>Ma vid\u00e9o laisse penser que l&rsquo;apprentissage automatique se limite aux cas o\u00f9 l&rsquo;on cherche \u00e0 pr\u00e9dire une sortie (Y) en fonction d&rsquo;une ou plusieurs entr\u00e9es (X). C&rsquo;est ce qu&rsquo;on appelle en termes techniques de <strong>l&rsquo;apprentissage \u00ab\u00a0supervis\u00e9\u00a0\u00bb<\/strong>; o\u00f9 une des variables joue un r\u00f4le privil\u00e9gi\u00e9, puisqu&rsquo;on cherche \u00e0 la pr\u00e9dire.<\/p>\n<p>Il existe en r\u00e9alit\u00e9 un autre grand domaine, <strong>l&rsquo;apprentissage \u00ab\u00a0non-supervis\u00e9\u00a0\u00bb<\/strong>, o\u00f9 d&rsquo;une certaine mani\u00e8re toutes les variables sont mises sur un pied d&rsquo;\u00e9galit\u00e9 au d\u00e9part, et o\u00f9 la question n&rsquo;est pas \u00ab\u00a0peut-on pr\u00e9dire Y \u00e0 partir de X ?\u00a0\u00bb, mais plut\u00f4t \u00ab\u00a0que peut-on dire d&rsquo;intelligent sur la mani\u00e8re dont les variables sont distribu\u00e9es ?\u00a0\u00bb<\/p>\n<p>Prenons un exemple simple, imaginons que je vous repr\u00e9sente le diam\u00e8tre et la hauteur d&rsquo;une s\u00e9rie d&rsquo;arbres, et que j&rsquo;observe la chose suivante.<\/p>\n<p><a href=\"https:\/\/scienceetonnante.com\/2016\/04\/arbres-non-supervisecc81.png\" rel=\"attachment wp-att-7917\"><img decoding=\"async\" class=\"aligncenter size-full wp-image-7917 lazyload\" data-src=\"https:\/\/scienceetonnante.com\/2016\/04\/arbres-non-supervisecc81.png\" alt=\"arbres non supervis\u00e9\" width=\"500\" height=\"389\" data-srcset=\"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2016\/04\/arbres-non-supervisecc81.png 500w, https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2016\/04\/arbres-non-supervisecc81-300x233.png 300w, https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2016\/04\/arbres-non-supervisecc81-87x67.png 87w\" data-sizes=\"(max-width: 500px) 100vw, 500px\" src=\"data:image\/svg+xml;base64,PHN2ZyB3aWR0aD0iMSIgaGVpZ2h0PSIxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciPjwvc3ZnPg==\" style=\"--smush-placeholder-width: 500px; --smush-placeholder-aspect-ratio: 500\/389;\" \/><\/a><\/p>\n<p>Avec votre puissant cerveau d&rsquo;\u00eatre humain, vous remarquez un truc : non pas que l&rsquo;une des variables d\u00e9pende de l&rsquo;autre, mais que la mani\u00e8re dont elles sont distribu\u00e9es n&rsquo;est pas \u00ab\u00a0quelconque\u00a0\u00bb. On n&rsquo;a pas affaire \u00e0 un b\u00eate nuage de point gaussien, mais \u00e0 des donn\u00e9es dans lesquelles <strong>on devine une structure sous-jacente<\/strong>. Les algorithmes qui s&rsquo;efforcent de capturer ce genre de relations sont ceux d&rsquo;apprentissage \u00ab\u00a0non-supervis\u00e9\u00a0\u00bb.<\/p>\n<p>En termes formels, l&rsquo;apprentissage non-supervis\u00e9 cherche \u00e0 dire des choses intelligentes sur p(X), la densit\u00e9 de probabilit\u00e9 des variables X; tandis que l&rsquo;apprentissage supervis\u00e9 cherche \u00e0 dire des choses intelligentes sur p(Y|X), la probabilit\u00e9 de \u00ab\u00a0Y sachant X\u00a0\u00bb. En poussant un peu, on peut voir l&rsquo;apprentissage supervis\u00e9 comme un cas particulier de l&rsquo;apprentissage non-supervis\u00e9.<\/p>\n<p>Pour les puristes : j&rsquo;ai fait aussi l&rsquo;impasse sur l&rsquo;<strong>apprentissage par renforcement<\/strong> (utilis\u00e9 notamment dans le cas de la mise au point de l&rsquo;algorithme AlphaGo).<\/p>\n<h3>R\u00e9seaux de neurones vs SVM<\/h3>\n<p>Autre grosse injustice de ma vid\u00e9o : je fais comme si l&rsquo;apprentissage supervis\u00e9 se limitait aux r\u00e9seaux de neurones. \u00c7a n&rsquo;est \u00e9videmment pas le cas ! En particulier avant l&rsquo;av\u00e8nement des r\u00e9seaux profonds, les algorithmes qui r\u00e9gnaient en ma\u00eetres \u00e9taient plut\u00f4t les \u00ab\u00a0<strong>Support Vector Machine<\/strong>\u00a0\u00bb (SVM). Contrairement \u00e0 ce que je laisse sous-entendre, les meilleurs algorithmes de reconnaissance d&rsquo;image d&rsquo;avant le deep learning ne se basaient pas sur des r\u00e9seaux peu profonds, mais plut\u00f4t sur des SVM (pr\u00e9c\u00e9d\u00e9s comme je le dis dans la vid\u00e9o par des <a href=\"https:\/\/fr.wikipedia.org\/wiki\/Scale-invariant_feature_transform\" target=\"_blank\" rel=\"noopener\">algorithmes de construction de caract\u00e9ristiques du type SIFT<\/a>).<\/p>\n<p>J&rsquo;ai \u00e9t\u00e9 assez silencieux sur l&rsquo;architecture particuli\u00e8re des r\u00e9seaux profonds qui \u00ab\u00a0marchent\u00a0\u00bb en reconnaissance d&rsquo;image. Il s&rsquo;agit de ce qu&rsquo;on appelle les<strong> r\u00e9seaux convolutionnels<\/strong>, dont Yann Le Cun est le pionnier. Ces r\u00e9seaux agissent \u00e0 chaque \u00ab\u00a0couche\u00a0\u00bb en effectuant une op\u00e9ration de convolution de l&rsquo;image avec un filtre donn\u00e9, et les \u00e9l\u00e9ments de matrice du filtre sont justement les poids du r\u00e9seau, qu&rsquo;on ajuste au cours de l&rsquo;apprentissage. Suivant ces poids, ce filtre peut agir en faisant ressortir certaines caract\u00e9ristiques locales de l&rsquo;image (bords, ar\u00eates, zones uniformes, etc.) et en jouant sur les poids, on modifie la nature de ce que le filtre est capable de d\u00e9tecter. C&rsquo;est en enchainant des op\u00e9rations de ce genre qu&rsquo;on peut avoir des successions de convolutions qui font ressortir des caract\u00e9ristiques de plus en plus abstraites, g\u00e9n\u00e9riques (et donc \u00ab\u00a0de haut niveau\u00a0\u00bb) de l&rsquo;image.<\/p>\n<p>Comme vous l&rsquo;aurez compris, ma fascination est totale pour les mod\u00e8les g\u00e9n\u00e9ratifs. Deux exemples de plus que je n&rsquo;ai pas eu le temps et la place de caser. Quand on fait tourner le mod\u00e8le g\u00e9n\u00e9ratif des chambres \u00e0 coucher, on peut le \u00ab\u00a0bidouiller\u00a0\u00bb de sorte qu&rsquo;il oublie le concept de fen\u00eatre, et il va se mettre \u00e0 produire des pi\u00e8ces sans fen\u00eatres !<\/p>\n<p><a href=\"https:\/\/scienceetonnante.com\/2016\/04\/bedrooms_window_drop_test.png\" rel=\"attachment wp-att-7918\"><img decoding=\"async\" class=\"aligncenter size-large wp-image-7918 lazyload\" data-src=\"https:\/\/scienceetonnante.com\/2016\/04\/bedrooms_window_drop_test.png?w=600\" alt=\"bedrooms_window_drop_test\" width=\"600\" height=\"120\" data-srcset=\"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2016\/04\/bedrooms_window_drop_test.png 640w, https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2016\/04\/bedrooms_window_drop_test-300x60.png 300w\" data-sizes=\"(max-width: 600px) 100vw, 600px\" src=\"data:image\/svg+xml;base64,PHN2ZyB3aWR0aD0iMSIgaGVpZ2h0PSIxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciPjwvc3ZnPg==\" style=\"--smush-placeholder-width: 600px; --smush-placeholder-aspect-ratio: 600\/120;\" \/><\/a><br \/>\nDernier exemple ultra-r\u00e9cent : la colorisation automatique d&rsquo;images. L&rsquo;algorithme cherche \u00e0 partir d&rsquo;une photo noir et blanc \u00e0 deviner quelles peuvent \u00eatre les couleurs d&rsquo;origine de l&rsquo;image. Je dois dire que le r\u00e9sultat est assez bluffant.<\/p>\n<p><a href=\"https:\/\/scienceetonnante.com\/2016\/04\/capture-d_ecc81cran-2016-04-07-acc80-21-36-14.png\" rel=\"attachment wp-att-7920\"><img decoding=\"async\" class=\"aligncenter size-large wp-image-7920 lazyload\" data-src=\"https:\/\/scienceetonnante.com\/2016\/04\/capture-d_ecc81cran-2016-04-07-acc80-21-36-14.png?w=600\" alt=\"Capture d\u2019\u00e9cran 2016-04-07 \u00e0 21.36.14\" width=\"600\" height=\"411\" data-srcset=\"https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2016\/04\/capture-d_ecc81cran-2016-04-07-acc80-21-36-14.png 1265w, https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2016\/04\/capture-d_ecc81cran-2016-04-07-acc80-21-36-14-300x205.png 300w, https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2016\/04\/capture-d_ecc81cran-2016-04-07-acc80-21-36-14-1024x701.png 1024w, https:\/\/scienceetonnante.com\/blog\/wp-content\/uploads\/2016\/04\/capture-d_ecc81cran-2016-04-07-acc80-21-36-14-768x526.png 768w\" data-sizes=\"(max-width: 600px) 100vw, 600px\" src=\"data:image\/svg+xml;base64,PHN2ZyB3aWR0aD0iMSIgaGVpZ2h0PSIxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciPjwvc3ZnPg==\" style=\"--smush-placeholder-width: 600px; --smush-placeholder-aspect-ratio: 600\/411;\" \/><\/a><\/p>\n<h4>R\u00e9f\u00e9rences<\/h4>\n<p><em> Russakovsky, Olga, et al. \u00ab\u00a0Imagenet large scale visual recognition challenge.\u00a0\u00bb International Journal of Computer Vision 115.3 (2015): 211-252. http:\/\/arxiv.org\/pdf\/1409.0575<\/em><\/p>\n<p><em>Radford, Alec, Luke Metz, and Soumith Chintala. \u00ab\u00a0Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks.\u00a0\u00bb arXiv preprint arXiv:1511.06434 (2015). http:\/\/arxiv.org\/pdf\/1511.06434<\/em><\/p>\n<p><em>Zeiler, Matthew D., and Rob Fergus. \u00ab\u00a0Visualizing and understanding convolutional networks.\u00a0\u00bb Computer vision\u2013ECCV 2014. Springer International Publishing, 2014. 818-833. http:\/\/arxiv.org\/pdf\/1311.2901<\/em><\/p>\n<p><em>Richard Zhang, Phillip Isola, Alexei A. Efros Colorful Image Colorization http:\/\/arxiv.org\/abs\/1603.08511<\/em><\/p>\n<p><em>Les personnages de manga :\u00a0https:\/\/github.com\/mattya\/chainer-DCGAN<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Vous entendez parler du deep learning, mais vous n&rsquo;en avez pas encore compris la profondeur ? Cette vid\u00e9o est faite pour vous ! Fid\u00e8le \u00e0 mon habitude, voici la liste des choses essentielles, mais pourtant \u00e9limin\u00e9es par manque de place et pour rester accessible au plus grand nombre.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"jetpack_post_was_ever_published":false,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[45,4],"tags":[113],"class_list":{"0":"post-7914","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-informatique","7":"category-mathematiques","8":"tag-intelligence-artificielle"},"jetpack_featured_media_url":"","jetpack_sharing_enabled":true,"post_mailing_queue_ids":[],"_links":{"self":[{"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/posts\/7914","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/comments?post=7914"}],"version-history":[{"count":1,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/posts\/7914\/revisions"}],"predecessor-version":[{"id":9179,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/posts\/7914\/revisions\/9179"}],"wp:attachment":[{"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/media?parent=7914"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/categories?post=7914"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/scienceetonnante.com\/blog\/wp-json\/wp\/v2\/tags?post=7914"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}