基礎(chǔ)篇(1-3章)：介紹深度學(xué)習(xí)的基本概念和Tensorflow的基本介紹。原理與實(shí)踐篇（4-8章）：大量的關(guān)于深度學(xué)習(xí)中BP、CNN以及RNN網(wǎng)絡(luò)等概念的數(shù)學(xué)知識(shí)解析，加以更樸素的語(yǔ)言與類比，使得非數(shù)學(xué)專業(yè)的程序員還是能夠比較容易看懂。擴(kuò)展篇（9-13章）：介紹新增的深度學(xué)習(xí)網(wǎng)絡(luò)變種與較新的深度學(xué)習(xí)特性，并給出有趣的深度學(xué)習(xí)應(yīng)用。讀完本書(shū)，基本具備了搭建全套Tensorflow應(yīng)用環(huán)境的能力，掌握深度學(xué)習(xí)算法和思路，以及進(jìn)行一般性的文章分類、音頻分類或視頻分類的能力。
技術(shù)暢銷書(shū)《白話大數(shù)據(jù)與機(jī)器學(xué)習(xí)》姊妹篇，YY大數(shù)據(jù)專家撰寫(xiě)，李學(xué)凌、朱頻頻、王慶法、王海龍聯(lián)袂推薦。以插圖、類比和大量示例趣說(shuō)深度學(xué)習(xí)網(wǎng)絡(luò)的關(guān)鍵理念、算法與TensoeFlow實(shí)踐，涵蓋BP網(wǎng)絡(luò)、CNN、RNN、受限玻爾茲曼機(jī)、深度殘差網(wǎng)絡(luò)、強(qiáng)化學(xué)習(xí)、對(duì)抗學(xué)習(xí)，以及多個(gè)有趣應(yīng)用。
為什么要寫(xiě)這本書(shū)
近些年來(lái)，伴隨著計(jì)算機(jī)計(jì)算能力的不斷升級(jí)，很多原來(lái)只有在科幻電影里才有的橋段越來(lái)越多地出現(xiàn)在我們身邊了，并給了我們更多的想象空間與期待。
在2016年，人工智能界最令人矚目的事情莫過(guò)于谷歌的AlphaGo以4:1的懸殊比分輕松擊敗韓國(guó)著名九段圍棋大師李世石。之后化名“Master”的AlphaGo更是一路大開(kāi)殺戒，分別在對(duì)弈網(wǎng)站“弈城”和“騰訊圍棋”登錄，先后打敗了柯潔九段、樸廷桓九段、陳耀燁九段以及創(chuàng)造日本大滿貫傳奇的井山裕太和亞洲杯冠軍李欽誠(chéng)等世界一流高手，取得了50勝0負(fù)的戰(zhàn)績(jī)。當(dāng)然了，“玩不起”的人類最終覺(jué)得讓AlphaGo在國(guó)際圍棋網(wǎng)站排名上占一個(gè)坑來(lái)碾壓人類是非�！安还健钡氖虑椋罱K把人家給拉黑了。
人類這么做是不是有違AI（ArtificialIntelligence，人工智能）研究的初衷暫且不討論，畢竟我們的眼光還是應(yīng)該更多地投向那些“更有趣”的領(lǐng)域。除此之外，還有很多非常有趣的人工智能項(xiàng)目也經(jīng)常在網(wǎng)絡(luò)視頻中帶給我們驚喜，比如谷歌的機(jī)械狗、谷歌的無(wú)人駕駛汽車等。
這種機(jī)械狗很有趣，除了能夠彼此之間互相協(xié)調(diào)進(jìn)行編隊(duì)行進(jìn)以外，還能像真的狗一樣在被踢了一腳之后迅速調(diào)整重心，并在短暫的踉蹌后站穩(wěn)，然后繼續(xù)先前作業(yè)，不過(guò)怎么踢都不會(huì)來(lái)咬你。
而谷歌的無(wú)人駕駛汽車也有著非常優(yōu)異的能力，到2015年11月底為止，根據(jù)谷歌提交給機(jī)動(dòng)車輛管理局的報(bào)告，谷歌的無(wú)人駕駛汽車在自動(dòng)模式下已經(jīng)完成了130多萬(wàn)英里的里程。
可以說(shuō)，這些事情都在鼓舞著我們這些對(duì)未來(lái)世界充滿渴望的人投入更多的精力去研究AI帶來(lái)的新驚喜，而人工智能這一領(lǐng)域中最為核心的內(nèi)容之一就是深度學(xué)習(xí)。深度學(xué)習(xí)現(xiàn)在在全世界范圍內(nèi)都有著眾多的專業(yè)工作者和業(yè)余愛(ài)好者在進(jìn)行著研究，并且每個(gè)月都有不少新的落地產(chǎn)品問(wèn)世。應(yīng)該說(shuō)，深度學(xué)習(xí)是目前世界上最熱門(mén)的研究領(lǐng)域之一，而且也是未來(lái)幾十年最熱門(mén)的研究方向之一。
在中國(guó)，深度學(xué)習(xí)也有著眾多的專業(yè)研究機(jī)構(gòu)和業(yè)余愛(ài)好者，在我的周圍就有數(shù)以千計(jì)的深度學(xué)習(xí)愛(ài)好者——這一點(diǎn)都不夸張，他們非�？释私馍疃葘W(xué)習(xí)的知識(shí)并加以應(yīng)用。但是，深度學(xué)習(xí)由于其本身的復(fù)雜性，使得很多有著濃厚興趣的愛(ài)好者望而卻步，我認(rèn)為主要的門(mén)檻來(lái)自于兩個(gè)方面。
一方面，深度學(xué)習(xí)是非常典型的計(jì)算密集型的應(yīng)用領(lǐng)域，家用PC機(jī)通常是無(wú)法有效勝任一個(gè)完整而可靠的深度學(xué)習(xí)應(yīng)用的（作為初級(jí)實(shí)驗(yàn)或者“玩具”的除外）。不過(guò)現(xiàn)在隨著CPU的計(jì)算速度逐步加快，以及GPU應(yīng)用的不斷普及，這方面的門(mén)檻在慢慢地降低。
另一方面，深度學(xué)習(xí)從其解決問(wèn)題的根本理論方面需要比較深厚和扎實(shí)的數(shù)學(xué)基礎(chǔ)，尤其是高等數(shù)學(xué)、線性代數(shù)、泛函分析及其延伸學(xué)科的基礎(chǔ)，這就使得很多高等數(shù)學(xué)相關(guān)基礎(chǔ)不好的朋友學(xué)習(xí)起來(lái)非常吃力。當(dāng)然，這一方面目前可以走的捷徑也不是沒(méi)有，我們可以通過(guò)現(xiàn)成的框架（比如TensorFlow、Torch、Caffe或Theano等）來(lái)搭建環(huán)境，并用簡(jiǎn)單的代碼或模型描述文件來(lái)組建一個(gè)相對(duì)完整的神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)和分類應(yīng)用。
除此之外，像Caffe還有一個(gè)叫做ModelZoo的共享社群——這是一個(gè)讓大家把已經(jīng)訓(xùn)練好的模型放在上面做共享的社群。在模型訓(xùn)練中，前面大量耗時(shí)的分析和建模工作以及訓(xùn)練后得到的最寶貴的模型成果就可以濃縮并沉淀為一個(gè)可下載的模型描述文件，里面是網(wǎng)絡(luò)的節(jié)點(diǎn)權(quán)重和拓?fù)浣Y(jié)構(gòu)信息。這種社群化的方式會(huì)讓很多原本沒(méi)有太好訓(xùn)練條件的朋友有了可以學(xué)習(xí)和借鑒的對(duì)象，也有了可以游樂(lè)和嘗試的空間。這些模型需要在其各自的授權(quán)使用協(xié)議下合理使用，有的是允許進(jìn)行商業(yè)應(yīng)用和改動(dòng)，而有的則不可以，這一點(diǎn)需要注意。在下載后，我們可以對(duì)其進(jìn)行FineTuning，也就是進(jìn)行細(xì)節(jié)調(diào)優(yōu)或改進(jìn)性訓(xùn)練，使得這些模型可以在自己需要的環(huán)境和條件下更好地工作。不過(guò)這個(gè)地方還是有一個(gè)門(mén)檻，對(duì)于很多數(shù)學(xué)能力欠佳的工程師來(lái)說(shuō)，不容易邁過(guò)去，那就是訓(xùn)練和調(diào)優(yōu)中的方向性問(wèn)題。一旦出現(xiàn)召回率和準(zhǔn)確率不再提高，或者性能等問(wèn)題，往往會(huì)找不到改進(jìn)的方向和方法，這是需要扎實(shí)的數(shù)學(xué)基礎(chǔ)和深度學(xué)習(xí)領(lǐng)域的實(shí)踐經(jīng)驗(yàn)來(lái)解決的。
我們這本書(shū)的宗旨很簡(jiǎn)單，就是希望通過(guò)聊天和講故事的方式，憑借高中以上水平的數(shù)學(xué)知識(shí)把大家一步一步地帶入深度學(xué)習(xí)的領(lǐng)域。只要大家在閱讀本書(shū)的時(shí)候保持一點(diǎn)點(diǎn)耐心，即便沒(méi)有高等數(shù)學(xué)知識(shí)的朋友，通過(guò)努力也一樣可以基本掌握深度學(xué)習(xí)的應(yīng)用技巧。請(qǐng)不要猶豫，跟我來(lái)吧！
本書(shū)特色
本書(shū)本著“平民”起點(diǎn)，從“零”開(kāi)始的初衷，介紹深度學(xué)習(xí)的技術(shù)與技巧，逐層鋪墊，把微積分、梯度等知識(shí)重點(diǎn)化整為零，把學(xué)習(xí)曲線最大程度地拉平，讓讀者有良好的代入感和親近感。
本書(shū)用漫畫(huà)插圖來(lái)調(diào)節(jié)閱讀氣氛，并且在每個(gè)講解的部分都有對(duì)比和實(shí)例說(shuō)明，相信每位讀者都能感受到非常好的閱讀平滑感。
讀者對(duì)象
對(duì)深度學(xué)習(xí)有興趣但數(shù)學(xué)基礎(chǔ)弱的開(kāi)發(fā)人員與架構(gòu)師
科研院所的研究人員
對(duì)深度學(xué)習(xí)有興趣的大學(xué)生、研究生
其他深度學(xué)習(xí)愛(ài)好者，如產(chǎn)品經(jīng)理、投資人、管理者等
如何閱讀本書(shū)
本書(shū)基本獨(dú)立成冊(cè)，適用于零基礎(chǔ)的初學(xué)者，但仍建議以本書(shū)姊妹篇《白話大數(shù)據(jù)與機(jī)器學(xué)習(xí)》為引導(dǎo)讀物。本書(shū)共分三篇，共13章。
基礎(chǔ)篇（第1～3章），介紹一些非常基礎(chǔ)的概念鋪墊，以便了解背景。
原理與實(shí)踐篇（第4～8章），介紹老牌的深度學(xué)習(xí)網(wǎng)絡(luò)的數(shù)學(xué)原理和工程實(shí)現(xiàn)原理。尤其是第4章，如果讀者能基本讀懂，后面的網(wǎng)絡(luò)實(shí)現(xiàn)層面的問(wèn)題基本都可以迎刃而解。
擴(kuò)展篇（第9～13章），介紹一些網(wǎng)絡(luò)的變種和一些較新的網(wǎng)絡(luò)特性。
其實(shí)當(dāng)你把這本書(shū)看完后，就會(huì)知道這種技術(shù)的底層原理雖然略顯復(fù)雜，但是在框架逐步成熟以及開(kāi)源項(xiàng)目日益增加的情況下，對(duì)于應(yīng)用市場(chǎng)層面的技術(shù)人員來(lái)說(shuō)，真正要做的工作已經(jīng)不是書(shū)寫(xiě)復(fù)雜的算法了——這些都已經(jīng)被很好地封裝到內(nèi)聚性極高的框架中，而且開(kāi)放了友好的接口和足夠多的參數(shù)給使用者做調(diào)整。這樣一來(lái)，最重要的工作反而是海量樣本的低成本獲取和豐富的計(jì)算資源的獲取。因此從這個(gè)角度來(lái)看，我可以負(fù)責(zé)任地說(shuō)，深度學(xué)習(xí)領(lǐng)域的門(mén)檻在一定程度上應(yīng)該說(shuō)比傳統(tǒng)機(jī)器學(xué)習(xí)的還要低。當(dāng)讀完這本書(shū)時(shí)，你就會(huì)發(fā)現(xiàn)，深度學(xué)習(xí)真的不難。
勘誤和支持
由于筆者的水平有限，編寫(xiě)時(shí)間倉(cāng)促，書(shū)中難免會(huì)出現(xiàn)一些錯(cuò)誤或者不準(zhǔn)確的地方，懇請(qǐng)讀者批評(píng)指正。如果你有更多的寶貴意見(jiàn)，歡迎掃描下方的二維碼，關(guān)注奇點(diǎn)大數(shù)據(jù)微信公眾號(hào)qddata和我們進(jìn)行互動(dòng)討論。當(dāng)然，在公眾號(hào)的消息中你也可以找到書(shū)中的代碼地址和QQ討論群的信息。
同時(shí)，你也可以通過(guò)郵箱77232517@qq.com聯(lián)系到我，期待能夠得到大家的真摯反饋，在技術(shù)之路上互勉共進(jìn)。
在此，感謝遼寧工程大學(xué)副教授（海歸博士后）常戩博士、山東交通學(xué)院理學(xué)院講師許文杰博士、許昌學(xué)院信息工程學(xué)院講師姚丹丹博士在審校工作方面的支持與幫助，以及深圳華為技術(shù)有限公司的萬(wàn)娟女士在插畫(huà)方面對(duì)本書(shū)的大力支持。
高揚(yáng)
高揚(yáng)，歡聚時(shí)代資深大數(shù)據(jù)專家，曾任金山軟件西山居大數(shù)據(jù)架構(gòu)師。有多年服務(wù)器端開(kāi)發(fā)經(jīng)驗(yàn)（多年日本和澳洲工作經(jīng)驗(yàn)），多年大數(shù)據(jù)架構(gòu)設(shè)計(jì)與數(shù)據(jù)分析、處理經(jīng)驗(yàn)，目前負(fù)責(zé)歡聚時(shí)代直播部深度學(xué)習(xí)落地相關(guān)的研究。擅長(zhǎng)傳統(tǒng)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、數(shù)據(jù)建模、關(guān)系型數(shù)據(jù)庫(kù)應(yīng)用以及大數(shù)據(jù)框架等的應(yīng)用。
衛(wèi)崢，歡聚時(shí)代YY娛樂(lè)事業(yè)部軟件架構(gòu)師，曾任西山居軟件架構(gòu)師。多年的軟件開(kāi)發(fā)和架構(gòu)經(jīng)驗(yàn)，精通C/C++、Python、Golang、JavaScript等多門(mén)編程語(yǔ)言，近幾年專注于數(shù)據(jù)處理、機(jī)器學(xué)和深度學(xué)習(xí)算法的研究、音視頻圖形圖像處理，應(yīng)用與服務(wù)研發(fā)。曾在新浪網(wǎng)平臺(tái)架構(gòu)部負(fù)責(zé)音視頻轉(zhuǎn)碼平臺(tái)的架構(gòu)和研發(fā)工作，為新浪微博、新浪微盤(pán)、秒拍等提供視頻在線觀看服務(wù)。在慕課網(wǎng)、InfoQ、麥思博、51CTO等平臺(tái)擔(dān)任講師。
萬(wàn)娟，深圳華為UI設(shè)計(jì)師，曾任星盤(pán)科技有限公司UI設(shè)計(jì)師平面，對(duì)VI設(shè)計(jì)、包裝、海報(bào)設(shè)計(jì)等、商業(yè)插畫(huà)、App交互、網(wǎng)頁(yè)設(shè)計(jì)等有獨(dú)到認(rèn)識(shí)。多次參與智能家居和智能音箱等項(xiàng)目的UI設(shè)計(jì)。多次參加國(guó)際和國(guó)內(nèi)藝術(shù)和工業(yè)設(shè)計(jì)比賽，并獲獎(jiǎng)。從小酷愛(ài)繪畫(huà)，理想是開(kāi)一個(gè)屬于自己的畫(huà)室。
目 錄?Contents
本書(shū)贊譽(yù)
序
前 言
基 礎(chǔ) 篇
第1章 機(jī)器學(xué)習(xí)是什么 2
1.1 聚類 4
1.2 回歸 5
1.3 分類 8
1.4 綜合應(yīng)用 10
1.5 小結(jié) 14
第2章 深度學(xué)習(xí)是什么 15
2.1 神經(jīng)網(wǎng)絡(luò)是什么 15
2.1.1 神經(jīng)元 16
2.1.2 激勵(lì)函數(shù) 19
2.1.3 神經(jīng)網(wǎng)絡(luò) 24
2.2 深度神經(jīng)網(wǎng)絡(luò) 25
2.3 深度學(xué)習(xí)為什么這么強(qiáng) 28
2.3.1 不用再提取特征 28
2.3.2 處理線性不可分 29
2.4 深度學(xué)習(xí)應(yīng)用 30
2.4.1 圍棋機(jī)器人——AlphaGo 30
2.4.2 被教壞的少女——Tai.ai 32
2.4.3 本田公司的大寶貝——
ASIMO 33
2.5 小結(jié) 37
第3章 TensorFlow框架特性與安裝 38
3.1 簡(jiǎn)介 38
3.2 與其他框架的對(duì)比 39
3.3 其他特點(diǎn) 40
3.4 如何選擇好的框架 44
3.5 安裝TensorFlow 45
3.6 小結(jié) 46
原理與實(shí)踐篇
第4章 前饋神經(jīng)網(wǎng)絡(luò) 50
4.1 網(wǎng)絡(luò)結(jié)構(gòu) 50
4.2 線性回歸的訓(xùn)練 51
4.3 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 75
4.4 小結(jié) 79
第5章 手寫(xiě)板功能 81
5.1 MNIST介紹 81
5.2 使用TensorFlow完成實(shí)驗(yàn) 86
5.3 神經(jīng)網(wǎng)絡(luò)為什么那么強(qiáng) 92
5.3.1 處理線性不可分 93
5.3.2 挑戰(zhàn)“與或非” 95
5.3.3 豐富的VC——強(qiáng)大的空間
劃分能力 98
5.4 驗(yàn)證集、測(cè)試集與防止過(guò)擬合 99
5.5 小結(jié) 102
第6章 卷積神經(jīng)網(wǎng)絡(luò) 103
6.1 與全連接網(wǎng)絡(luò)的對(duì)比 103
6.2 卷積是什么 104
6.3 卷積核 106
6.4 卷積層其他參數(shù) 108
6.5 池化層 109
6.6 典型CNN網(wǎng)絡(luò) 110
6.7 圖片識(shí)別 114
6.8 輸出層激勵(lì)函數(shù)——SOFTMAX 116
6.8.1 SOFTMAX 116
6.8.2 交叉熵 117
6.9 小試牛刀——卷積網(wǎng)絡(luò)做圖片分類 124
6.10 小結(jié) 138
第7章 綜合問(wèn)題 139
7.1 并行計(jì)算 139
7.2 隨機(jī)梯度下降 142
7.3 梯度消失問(wèn)題 144
7.4 歸一化 147
7.5 參數(shù)初始化問(wèn)題 149
7.6 正則化 151
7.7 其他超參數(shù) 155
7.8 不唯一的模型 156
7.9 DropOut 157
7.10 小結(jié) 158
第8章 循環(huán)神經(jīng)網(wǎng)絡(luò) 159
8.1 隱馬爾可夫模型 159
8.2 RNN和BPTT算法 163
8.2.1 結(jié)構(gòu) 163
8.2.2 訓(xùn)練過(guò)程 163
8.2.3 艱難的誤差傳遞 165
8.3 LSTM算法 167
8.4 應(yīng)用場(chǎng)景 171
8.5 實(shí)踐案例——自動(dòng)文本生成 174
8.5.1 RNN工程代碼解讀 174
8.5.2 利用RNN學(xué)習(xí)莎士比亞劇本 183
8.5.3 利用RNN學(xué)習(xí)維基百科 184
8.6 實(shí)踐案例——聊天機(jī)器人 185
8.7 小結(jié) 196
擴(kuò) 展 篇
第9章 深度殘差網(wǎng)絡(luò) 198
9.1 應(yīng)用場(chǎng)景 198
9.2 結(jié)構(gòu)解釋與數(shù)學(xué)推導(dǎo) 200
9.3 拓?fù)浣忉? 205
9.4 Github示例 207
9.5 小結(jié) 207
第10章 受限玻爾茲曼機(jī) 209
10.1 結(jié)構(gòu) 209
10.2 邏輯回歸 210
10.3 最大似然度 212
10.4 最大似然度示例 214
10.5 損失函數(shù) 215
10.6 應(yīng)用場(chǎng)景 216
10.7 小結(jié) 216
第11章 強(qiáng)化學(xué)習(xí) 217
11.1 模型核心 218
11.2 馬爾可夫決策過(guò)程 219
11.2.1 用游戲開(kāi)刀 221
11.2.2 準(zhǔn)備工作 223
11.2.3 訓(xùn)練過(guò)程 224
11.2.4 問(wèn)題 226
11.2.5 Q-Learning算法 228
11.3 深度學(xué)習(xí)中的Q-Learning——DQN 231
11.3.1 OpenAI Gym 234
11.3.2 Atari游戲 237
11.4 小結(jié) 238
第12章 對(duì)抗學(xué)習(xí) 239
12.1 目的 239
12.2 訓(xùn)練模式 240
12.2.1 二元極小極大博弈 240
12.2.2 訓(xùn)練 242
12.3 CGAN 244
12.4 DCGAN 247
12.5 小結(jié) 252
第13章 有趣的深度學(xué)習(xí)應(yīng)用 254
13.1 人臉識(shí)別 254
13.2 作詩(shī)姬 259
13.3 梵高附體 264
13.3.1 網(wǎng)絡(luò)結(jié)構(gòu) 265
13.3.2 內(nèi)容損失 268
13.3.3 風(fēng)格損失 270
13.3.4 系數(shù)比例 271
13.3.5 代碼分析 272
13.4 小結(jié) 279
附錄A VMware Workstation的安裝 280
附錄B Ubuntu虛擬機(jī)的安裝 284
附錄C Python語(yǔ)言簡(jiǎn)介 290
附錄D 安裝Theano 296
附錄E 安裝Keras 297
附錄F 安裝CUDA 298
參考文獻(xiàn) 303
書(shū)單推薦
