◆ 推薦序◆ 很高興為邱錫鵬教授的《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》一書寫序． 近年來由于阿爾法圍棋戰(zhàn)勝人類頂級高手新聞的轟動效應(yīng)，讓人工智能一下子進入了尋常百姓家，成為家喻戶曉的熱詞．阿爾法圍棋能取得如此成功的關(guān)鍵技術(shù)之一，正是所謂的深度學(xué)習(xí)．而其實在阿爾法圍棋出現(xiàn)之前，以深度學(xué)習(xí)為代表的人工智能技術(shù)已經(jīng)在模式識別、計算機視覺、語音識別與生成、自然語言處理、機器翻譯等方面取得了重要的進步．也因此，2018年有計算機領(lǐng)域諾貝爾獎之稱的圖靈獎頒給了對深度學(xué)習(xí)作出重要貢獻的三位科學(xué)家：YoshuaBengio、GeoffeyHinton和YannLeCun． 邱錫鵬教授的《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》一書較全面地介紹了神經(jīng)網(wǎng)絡(luò)、機器學(xué)習(xí)和深度學(xué)習(xí)的基本概念、模型和方法，同時也涉及深度學(xué)習(xí)中許多最新進展．書后還提供了相關(guān)數(shù)學(xué)分支的簡要介紹，以供讀者需要時參考． 本書電子版已在GitHub上開放共享，得到廣泛好評，相信此書的出版可以給有意了解或進入這一頗有前途領(lǐng)域的讀者提供一本很好的參考書．基本的深度學(xué)習(xí)相當(dāng)于函數(shù)逼近問題，即函數(shù)或曲面的擬合，所不同的是，這里用作基函數(shù)的是非線性的神經(jīng)網(wǎng)絡(luò)函數(shù)，而原來數(shù)學(xué)中用的則是多項式、三角多項式、B-spline、一般spline以及小波函數(shù)等的線性組合． 由于神經(jīng)網(wǎng)絡(luò)的非線性和復(fù)雜性（要用許多結(jié)構(gòu)參數(shù)和連接權(quán)值來描述），它有更強的表達能力，即從給定的神經(jīng)網(wǎng)絡(luò)函數(shù)族中可能找到對特定數(shù)據(jù)集擬合得更好的神經(jīng)網(wǎng)絡(luò)．相信這正是深度學(xué)習(xí)方法能得到一系列很好結(jié)果的重要原因．直觀上很清楚，當(dāng)你有更多的選擇時，你有可能作出更好的選擇．當(dāng)然，要從非常非常多的選擇中找到那個更好的選擇并不容易． 這里既涉及設(shè)計合適的神經(jīng)網(wǎng)絡(luò)類型，也涉及從該類型的神經(jīng)網(wǎng)絡(luò)中找出好的（即擬合誤差小的）特定神經(jīng)網(wǎng)絡(luò)的方法．后者正是數(shù)學(xué)中最優(yōu)化分支所研究的問題．從數(shù)學(xué)角度看，目前深度學(xué)習(xí)中所用的優(yōu)化算法還是屬于比較簡單的梯度下降法．許多數(shù)學(xué)中已有的更復(fù)雜的算法，由于高維數(shù)問題都還沒有得到應(yīng)用．本書中對這兩方面都有很好的介紹．相信隨著研究的不斷發(fā)展，今后一定會提出更多新的神經(jīng)網(wǎng)絡(luò)和新的優(yōu)化算法． 所謂成也蕭何敗也蕭何，神經(jīng)網(wǎng)絡(luò)的非線性和復(fù)雜性（即要用大量參數(shù)來描述，在深度網(wǎng)絡(luò)場合其個數(shù)動輒上萬、百萬甚至更多）使得雖然通過大量的標(biāo)注數(shù)據(jù)經(jīng)過深度學(xué)習(xí)可以得到一個結(jié)果誤差很小的神經(jīng)網(wǎng)絡(luò)，但要用它來進行解釋卻十分困難．其實這也是長期困擾神經(jīng)網(wǎng)絡(luò)方法的一個問題，使用深度神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法也概莫能外． 難于解釋相當(dāng)于知其然不知其所以然．這對有些應(yīng)用而言是可以的，但對有些可能造成嚴(yán)重后果的應(yīng)用而言則有很大問題．一般而言，人們除了希望知其然，也會希望能知其所以然． 近來也有學(xué)者發(fā)現(xiàn)，一個精度很高的神經(jīng)網(wǎng)絡(luò)，去改變它的幾個（甚至一個）參數(shù)，就會使該網(wǎng)絡(luò)的性能下降許多．換言之，深度學(xué)習(xí)方法的魯棒性也有待研究． 總之，本書介紹的基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法是近年來經(jīng)過大量實踐并取得很好成果的一種很通用的方法，也是近年來人工智能領(lǐng)域中最活躍的分支之一．相信無論在方法本身的發(fā)展上，抑或在新領(lǐng)域應(yīng)用的研發(fā)上，都會呈現(xiàn)出一派欣欣向榮的氣象． 吳立德 于上�！�復(fù)旦大學(xué) 2019年8月17日 ◆ 前言◆ 近年來，以機器學(xué)習(xí)、知識圖譜為代表的人工智能技術(shù)逐漸變得普及．從車牌識別、人臉識別、語音識別、智能助手、推薦系統(tǒng)到自動駕駛，人們在日常生活中都可能有意無意地用到了人工智能技術(shù)．這些技術(shù)的背后都離不開人工智能領(lǐng)域研究者的長期努力．特別是最近這幾年，得益于數(shù)據(jù)的增多、計算能力的增強、學(xué)習(xí)算法的成熟以及應(yīng)用場景的豐富，越來越多的人開始關(guān)注這個“嶄新”的研究領(lǐng)域：深度學(xué)習(xí)．深度學(xué)習(xí)以神經(jīng)網(wǎng)絡(luò)為主要模型，一開始用來解決機器學(xué)習(xí)中的表示學(xué)習(xí)問題．但是由于其強大的能力，深度學(xué)習(xí)越來越多地用來解決一些通用人工智能問題，比如推理、決策等．目前，深度學(xué)習(xí)技術(shù)在學(xué)術(shù)界和工業(yè)界取得了廣泛的成功，受到高度重視，并掀起新一輪的人工智能熱潮． 然而，我們也應(yīng)充分意識到目前以深度學(xué)習(xí)為核心的各種人工智能技術(shù)和“人類智能”還不能相提并論．深度學(xué)習(xí)需要大量的標(biāo)注數(shù)據(jù)，和人類的學(xué)習(xí)方式差異性很大．雖然深度學(xué)習(xí)取得了很大的成功，但是深度學(xué)習(xí)還不是一種可以解決一系列復(fù)雜問題的通用智能技術(shù)，而是可以解決單個問題的一系列技術(shù)．比如可以打敗人類的AlphaGo只能下圍棋，而不會做簡單的算術(shù)運算．想要達到通用人工智能依然困難重重． 本書的寫作目的是使得讀者能夠掌握神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)技術(shù)的基本原理，知其然還要知其所以然．全書共15章．第1章是緒論，概要介紹人工智能、機器學(xué)習(xí)和深度學(xué)習(xí)，使讀者全面了解相關(guān)知識．第2、3章介紹機器學(xué)習(xí)的基礎(chǔ)知識．第4～6章分別講述三種主要的神經(jīng)網(wǎng)絡(luò)模型：前饋神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)．第7章介紹神經(jīng)網(wǎng)絡(luò)的優(yōu)化與正則化方法．第8章介紹神經(jīng)網(wǎng)絡(luò)中的注意力機制和外部記憶．第9章簡要介紹一些無監(jiān)督學(xué)習(xí)方法．第10章介紹一些模型獨立的機器學(xué)習(xí)方法：集成學(xué)習(xí)、自訓(xùn)練和協(xié)同訓(xùn)練、多任務(wù)學(xué)習(xí)、遷移學(xué)習(xí)、終身學(xué)習(xí)、元學(xué)習(xí)等，這些都是目前深度學(xué)習(xí)的難點和熱點問題．第11章介紹概率圖模型的基本概念，為后面的章節(jié)進行鋪墊．第12章介紹兩種早期的深度學(xué)習(xí)模型：玻爾茲曼機和深度信念網(wǎng)絡(luò)．第13章介紹最近兩年發(fā)展十分迅速的深度生成模型：變分自編碼器和生成對抗網(wǎng)絡(luò)．第14章介紹深度強化學(xué)習(xí)的知識．第15章介紹應(yīng)用十分廣泛的序列生成模型． 2015年復(fù)旦大學(xué)計算機學(xué)院開設(shè)了“神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)”課程．講好深度學(xué)習(xí)課程并不是一件容易的事，當(dāng)時還沒有關(guān)于深度學(xué)習(xí)的系統(tǒng)介紹，而且課程涉及的知識點非常多并且比較雜亂，和實踐結(jié)合也十分緊密．作為任課教師，我嘗試梳理了深度學(xué)習(xí)的知識體系，并寫了一本講義放在網(wǎng)絡(luò)上．雖然現(xiàn)在看起來當(dāng)時對深度學(xué)習(xí)的理解仍然十分粗淺，且講義存在很多錯誤，但依然受到了很多熱心網(wǎng)友的鼓勵．2016年年初，機械工業(yè)出版社華章公司的姚蕾編輯多次拜訪并希望我能將這個講義整理成書．我一方面被姚蕾編輯的誠意打動，另一方面也確實感到應(yīng)該有一本面向在校學(xué)生和相關(guān)從業(yè)人員的關(guān)于深度學(xué)習(xí)的專門書籍，因此最終有了正式出版的意愿．但我依然低估了寫書的難度，一方面是深度學(xué)習(xí)的發(fā)展十分迅速，而自己關(guān)于深度學(xué)習(xí)的認(rèn)知也在不斷變化，導(dǎo)致已寫好的內(nèi)容經(jīng)常需要修改；另一方面是平時的科研工作十分繁忙，很難抽出大段的時間來靜心寫作，因此斷斷續(xù)續(xù)的寫作一直拖延至今． 我理想中著書立說的境界是在某一個領(lǐng)域有自己的理論體系，將各式各樣的方法都統(tǒng)一到自己的體系下，并可以容納大多數(shù)技術(shù)，從新的角度來重新解釋這些技術(shù)．本書顯然還達不到這樣的水平，但希望能結(jié)合自身的經(jīng)驗，對神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的相關(guān)知識進行梳理、總結(jié)，通過寫書這一途徑，也促使自己能夠更加深入地理解深度學(xué)習(xí)這一領(lǐng)域，提高自身的理論水平． 本書能夠完成，首先感謝我的導(dǎo)師吳立德教授，他對深度學(xué)習(xí)的獨到見解和深入淺出的講授，使得我對深度學(xué)習(xí)有了更深層次的認(rèn)識，也感謝復(fù)旦大學(xué)計算機學(xué)院的黃萱菁教授和薛向陽教授的支持和幫助．本書在寫作時將書稿放在網(wǎng)絡(luò)上，也得到很多網(wǎng)友的幫助，特別感謝王利鋒、林同茂、張鈞瑞、李浩、胡可鑫、韋鵬輝、徐國海、侯宇蓬、任強、王少敬、肖耀、李鵬等人指出了本書初稿的錯誤或提出了富有建設(shè)性的意見．此外，本書在寫作過程中參考了互聯(lián)網(wǎng)上大量的優(yōu)秀資料，如維基百科、知乎、Quora等網(wǎng)站． 另外，我也特別感謝我的家人．本書的寫作占用了大量的業(yè)余時間，沒有家人的理解和支持，這本書不可能完成． 最后，因為個人能力有限，書中難免有不當(dāng)和錯誤之處，還望讀者海涵和指正，不勝感激． 邱錫鵬 于上�！�復(fù)旦大學(xué) 2020年3月31日