本書作為深度學(xué)習(xí)工程師初級認(rèn)證官方教材,將深度學(xué)習(xí)理論基礎(chǔ)與平臺操作有機結(jié)合,從算法到實戰(zhàn),共分6章,第1~4章主要介紹專業(yè)知識,包括數(shù)學(xué)基礎(chǔ)、Python基礎(chǔ)、機器學(xué)習(xí)和深度學(xué)習(xí)等基礎(chǔ)知識;第5章面向工程實戰(zhàn)能力的訓(xùn)練,介紹深度學(xué)習(xí)開發(fā)平臺,特別是飛槳開發(fā)平臺的實戰(zhàn)案例;第6章面向業(yè)務(wù)理解與實踐能力的提升,介紹深度學(xué)習(xí)在各個行業(yè)的應(yīng)用案例。
本書適合人工智能領(lǐng)域的工程師、研發(fā)人員,在校大學(xué)生、研究生,跨領(lǐng)域轉(zhuǎn)AI從業(yè)者,以及對深度學(xué)習(xí)人工智能感興趣的讀者使用。
本書提供配套教學(xué)內(nèi)容,詳情請訪問:https://aistudio.baidu.com/。
本書作為深度學(xué)習(xí)工程師初級認(rèn)證官方教材,將深度學(xué)習(xí)理論基礎(chǔ)與平臺操作有機結(jié)合,從算法到實戰(zhàn),涵蓋數(shù)學(xué)基礎(chǔ)、Python基礎(chǔ)、機器學(xué)習(xí)、深度學(xué)習(xí)算法和基于飛槳框架的深度學(xué)習(xí)平臺實戰(zhàn)及行業(yè)應(yīng)用案例。本書幫助讀者快速了解、理解、掌握機器學(xué)習(xí)、深度學(xué)習(xí)的基礎(chǔ)和前沿算法,并獲得深度學(xué)習(xí)算法實戰(zhàn)經(jīng)驗,有效提高讀者解決實際問題的能力。通過本書,讀者可以掌握深度學(xué)習(xí)的核心算法技術(shù);掌握面向不同場景任務(wù)的深度學(xué)習(xí)、強化學(xué)習(xí)應(yīng)用技術(shù);熟悉不同深度神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)及應(yīng)用;熟悉前沿深度學(xué)習(xí)的熱點技術(shù),把握深度學(xué)習(xí)的技術(shù)發(fā)展趨勢;提升解決深度學(xué)習(xí)實際問題的能力。
前言
隨著第四次工業(yè)革命的到來,人類社會正式進入全新的人工智能時代,愈來愈多的企業(yè)探索利用人工智能技術(shù)為其行業(yè)賦能,眾多科技巨頭企業(yè)展開人工智能生態(tài)鏈對弈,在戰(zhàn)略層面利用人工智能對傳統(tǒng)行業(yè)生態(tài)進行整合優(yōu)化。深度學(xué)習(xí)技術(shù)在人工智能領(lǐng)域產(chǎn)生了巨大的影響,已成為人工智能最為熱門的研究領(lǐng)域。以深度學(xué)習(xí)為核心的人工智能將進一步探索與垂直行業(yè)知識融合并應(yīng)用于廣泛、新型領(lǐng)域的可能性。
深度學(xué)習(xí)技術(shù)推動并加速了人工智能的研究并取得了前所未有的進展,深度學(xué)習(xí)技術(shù)和背后蘊藏的思維方式,已經(jīng)成為當(dāng)下人工智能產(chǎn)業(yè)的基石,也是AI技術(shù)從業(yè)者、AI項目管理者必備的基本能力和認(rèn)知方式;诖,百度選擇從“深度學(xué)習(xí)工程師”切入,為產(chǎn)業(yè)提供人才評估和認(rèn)證,也為一線工程技術(shù)人員提供學(xué)習(xí)和成長的參考標(biāo)準(zhǔn)!吧疃葘W(xué)習(xí)工程師認(rèn)證”分為初、中、高3個層級,初級認(rèn)證主要考查深度學(xué)習(xí)理論基礎(chǔ)和平臺操作能力;中級認(rèn)證著重考查深度學(xué)習(xí)應(yīng)用技能和工程能力;高級認(rèn)證則考查深度學(xué)習(xí)的應(yīng)用經(jīng)驗和模型設(shè)計能力。
本書作為深度學(xué)習(xí)工程師初級認(rèn)證官方教材,將深度學(xué)習(xí)理論基礎(chǔ)與平臺操作有機結(jié)合,從算法到實戰(zhàn),涵蓋數(shù)學(xué)基礎(chǔ)、Python基礎(chǔ)、機器學(xué)習(xí)、深度學(xué)習(xí)算法和基于飛槳框架的深度學(xué)習(xí)平臺實戰(zhàn)及行業(yè)應(yīng)用案例。本書幫助讀者快速了解、理解、掌握機器學(xué)習(xí)、深度學(xué)習(xí)的基礎(chǔ)和前沿算法,并獲得深度學(xué)習(xí)算法實戰(zhàn)經(jīng)驗,有效提高讀者解決實際問題的能力。通過本書,讀者可以掌握深度學(xué)習(xí)的核心算法技術(shù);掌握面向不同場景任務(wù)的深度學(xué)習(xí)、強化學(xué)習(xí)應(yīng)用技術(shù);熟悉不同深度神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)及應(yīng)用;熟悉前沿深度學(xué)習(xí)的熱點技術(shù),把握深度學(xué)習(xí)的技術(shù)發(fā)展趨勢;提升解決深度學(xué)習(xí)實際問題的能力。
全書共分6章,第1~4章主要介紹專業(yè)知識,包括數(shù)學(xué)基礎(chǔ)、Python基礎(chǔ)、機器學(xué)習(xí)和深度學(xué)習(xí)等基礎(chǔ)知識;第5章面向工程實戰(zhàn)能力的訓(xùn)練,介紹深度學(xué)習(xí)開發(fā)平臺,特別是飛槳開發(fā)平臺的實戰(zhàn)案例;第6章面向業(yè)務(wù)理解與實踐能力的提升,介紹深度學(xué)習(xí)在各個行業(yè)的應(yīng)用案例。具體如下:
第1章為數(shù)學(xué)基礎(chǔ),幫助讀者熟悉微積分基礎(chǔ)知識,包括極限與積分、導(dǎo)數(shù)與二階導(dǎo)數(shù)、方向?qū)?shù)、凸函數(shù)與極值、最優(yōu)化方法;概率與統(tǒng)計基礎(chǔ),包括古典概率、常用概率分布、貝葉斯公式、假設(shè)校驗;線性代數(shù)基礎(chǔ),包括矩陣與向量、矩陣乘法、矩陣特征值和特征向量。
第2章為Python基礎(chǔ),幫助讀者掌握Python基礎(chǔ)知識;掌握Python常用庫的基本操作,包括Numpy、Matplotlib、Sklearn等。
第3章為機器學(xué)習(xí),幫助讀者掌握機器學(xué)習(xí)基礎(chǔ)知識,包括監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)、強化學(xué)習(xí)的概念及區(qū)別;熟悉監(jiān)督學(xué)習(xí),包括回歸與分類、決策樹、神經(jīng)網(wǎng)絡(luò)、樸素貝葉斯及支持向量機的應(yīng)用;熟悉無監(jiān)督學(xué)習(xí),包括K均值聚類及降維的應(yīng)用。
第4章為深度學(xué)習(xí),幫助讀者掌握深度學(xué)習(xí)理論、常見的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu);了解深度學(xué)習(xí)單層、淺層、深層網(wǎng)絡(luò)的實現(xiàn)方式;掌握卷積神經(jīng)網(wǎng)絡(luò),包括卷積神經(jīng)網(wǎng)絡(luò)原理及經(jīng)典模型、卷積的數(shù)學(xué)意義與計算過程、卷積運算、池化及經(jīng)典網(wǎng)絡(luò)的配置方式;熟悉循環(huán)神經(jīng)網(wǎng)絡(luò)原理及經(jīng)典模型,文本和序列的深度模型;了解深度生成模型與生成對抗網(wǎng)絡(luò)。
第5章為深度學(xué)習(xí)平臺實戰(zhàn),幫助讀者掌握主流深度學(xué)習(xí)平臺的環(huán)境搭建方法;熟悉深度學(xué)習(xí)模型的訓(xùn)練方式,包括網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計和組網(wǎng)、損失函數(shù)、參數(shù)初始化、超參數(shù)調(diào)整和迭代優(yōu)化;基于飛槳深度學(xué)習(xí)框架進行深度學(xué)習(xí)平臺模型實戰(zhàn),包括手寫數(shù)字識別、圖像分類、詞向量、情感分析、語義角色標(biāo)注等模型。
第6章為深度學(xué)習(xí)行業(yè)應(yīng)用案例。幫助讀者熟悉使用深度學(xué)習(xí)框架搭建分布式深度學(xué)習(xí)網(wǎng)絡(luò)模型;熟悉使用深度學(xué)習(xí)框架實現(xiàn)簡單的CTR 預(yù)估、機器翻譯等應(yīng)用。
書中各章都給出了相應(yīng)的練習(xí)題,同時也給出了相關(guān)的實踐性內(nèi)容。讀者在閱讀本書的同時,可以進行代碼實戰(zhàn),以加深對深度學(xué)習(xí)理論及模型的理解。本書面向人工智能領(lǐng)域的工程師、研發(fā)人員,在校大學(xué)生、研究生,跨領(lǐng)域轉(zhuǎn)AI從業(yè)者,以及對深度學(xué)習(xí)人工智能感興趣的讀者。深入學(xué)習(xí)本書,可使讀者熟練開發(fā)、修改和運行機器學(xué)習(xí)、深度學(xué)習(xí)代碼,并進行工程化層面上的改造;具備將初等復(fù)雜度的應(yīng)用問題轉(zhuǎn)化為合適的機器學(xué)習(xí)、深度學(xué)習(xí)問題并加以解決的能力。
盡管人工智能產(chǎn)業(yè)發(fā)展仍存在諸多問題,但人工智能終將深刻改變世界的生產(chǎn)和生活方式,無所不在。希望本書在為廣大讀者帶來價值的同時,能夠助力人工智能領(lǐng)域的人才培養(yǎng),為中國的人工智能發(fā)展貢獻一份力量。
潘海俠 北京航空航天大學(xué)教授 ,參與過多個機器智能、ERP系統(tǒng)、物流系統(tǒng)、CRM系統(tǒng)的設(shè)計與開發(fā);主要研究方向包括:人工智能、模式識別、計算機視覺與圖像處理、軟件工程、項目管理。
楊晴虹 北京航空航天大學(xué)教授,博士,碩士生導(dǎo)師。主要研究領(lǐng)域,知識挖掘,大數(shù)據(jù)分析,項目管理,科研管理; 北航軟件學(xué)院軟件工程碩士;美國卡耐基梅隆大學(xué)項目管理學(xué)院IT項目管理碩士;北航經(jīng)濟管理學(xué)院管理科學(xué)與工程專業(yè)博士;美國南康涅狄格州立大學(xué)圖書信息科學(xué)訪問學(xué)者;美國耶魯大學(xué)兒童研究中心數(shù)據(jù)分析專家。
第1章 數(shù)學(xué)基礎(chǔ)/1
1.1 微積分基礎(chǔ) /2
1.1.1 極限與積分 /2
1.1.2 導(dǎo)數(shù)和二階導(dǎo)數(shù) /4
1.1.3 方向?qū)?shù)和梯度 /5
1.1.4 凸函數(shù)和極值 /7
1.1.5 最優(yōu)化方法 /8
1.2 概率與統(tǒng)計基礎(chǔ) /11
1.2.1 古典概率 /11
1.2.2 常用概率分布 /12
1.2.3 貝葉斯公式 /14
1.2.4 假設(shè)檢驗 /14
1.3 線性代數(shù)基礎(chǔ) /17
1.3.1 矩陣和向量 /17
1.3.2 矩陣乘法 /18
1.3.3 矩陣的特征值和特征向量 /19
習(xí) 題 /20
第2章 Python基礎(chǔ)/21
2.1 Python概論 /22
2.1.1 Python簡介 /22
2.1.2 Python入門 /23
2.2 NumPy函數(shù)庫基礎(chǔ) /25
2.2.1 NumPy簡介 /25
2.2.2 NumPy入門 /26
2.3 Matplotlib函數(shù)庫基礎(chǔ) /35
2.3.1 Matplotlib簡介 /35
2.3.2 Matplotlib入門 /35
2.4 Pandas函數(shù)庫基礎(chǔ) /38
2.4.1 Pandas簡介 /38
2.4.2 Pandas入門 /38
2.5 Sklearn函數(shù)庫基礎(chǔ) /40
2.5.1 Sklearn簡介 /40
2.5.2 Sklearn入門 /40
習(xí) 題 /44
第3章 機器學(xué)習(xí)/45
3.1 機器學(xué)習(xí)概論 /46
3.1.1 監(jiān)督學(xué)習(xí)概述 /46
3.1.2 無監(jiān)督學(xué)習(xí)概述 /47
3.1.3 強化學(xué)習(xí)概述 /49
3.2 監(jiān)督學(xué)習(xí) /50
3.2.1 回歸與分類 /50
3.2.2 決策樹 /56
3.2.3 神經(jīng)網(wǎng)絡(luò) /60
3.2.4 樸素貝葉斯 /63
3.2.5 支持向量機 /66
3.3 無監(jiān)督學(xué)習(xí) /71
3.3.1 K Means算法 /71
3.3.2 降 維 /72
習(xí) 題 /75
第4章 深度學(xué)習(xí)/78
4.1 深度學(xué)習(xí)概論 /79
4.1.1 深度學(xué)習(xí)發(fā)展歷程 /79
4.1.2 深度學(xué)習(xí)的應(yīng)用 /82
4.1.3 深度學(xué)習(xí)框架介紹 /83
4.2 深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu) /84
4.2.1 單層神經(jīng)網(wǎng)絡(luò) /84
4.2.2 淺層神經(jīng)網(wǎng)絡(luò) /88
4.2.3 深層神經(jīng)網(wǎng)絡(luò) /92
4.3 卷積網(wǎng)絡(luò) /96
4.3.1 卷積神經(jīng)網(wǎng)絡(luò)簡介 /96
4.3.2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) /97
4.3.3 經(jīng)典卷積網(wǎng)絡(luò)模型 /104
4.4 循環(huán)和遞歸網(wǎng)絡(luò) /112
4.4.1 循環(huán)神經(jīng)網(wǎng)絡(luò) /112
4.4.2 編碼器與解碼器 /116
4.4.3 遞歸神經(jīng)網(wǎng)絡(luò) /118
4.4.4 長短期記憶 /120
深度學(xué)習(xí)
工程師認(rèn)證初級教程
4.5 深度生成模型 /122
4.5.1 玻耳茲曼機 /122
4.5.2 深度信念網(wǎng)絡(luò) /125
4.5.3 有向生成網(wǎng)絡(luò) /126
4.5.4 生成隨機網(wǎng)絡(luò) /132
習(xí) 題 /133
第5章 深度學(xué)習(xí)平臺實戰(zhàn)/135
5.1 深度學(xué)習(xí)平臺介紹及環(huán)境搭建 /136
5.1.1 飛槳介紹 /136
5.1.2 飛槳環(huán)境搭建 /136
5.2 飛槳入門 /137
5.2.1 數(shù)據(jù)預(yù)處理的常規(guī)方法 /137
5.2.2 模型概覽 /138
5.2.3 訓(xùn)練模型 /138
5.2.4 應(yīng)用模型 /142
5.3 飛槳典型案例 /144
5.3.1 手寫數(shù)字識別 /144
5.3.2 圖像分類 /152
5.3.3 詞向量 /162
5.3.4 情感分析 /171
5.3.5 語義角色標(biāo)注 /180
習(xí) 題 /190
第6章 深度學(xué)習(xí)行業(yè)應(yīng)用案例介紹/192
6.1 深度學(xué)習(xí)在計算機視覺中的應(yīng)用 /193
6.1.1 概述及現(xiàn)狀 /193
6.1.2 圖像分類 /193
6.1.3 目標(biāo)檢測 /195
6.1.4 圖像分割 /198
6.2 深度學(xué)習(xí)在自然語言處理中的應(yīng)用 /200
6.2.1 概述及現(xiàn)狀 /200
6.2.2 機器翻譯 /200
6.2.3 問答系統(tǒng) /202
6.2.4 文本情感分析 /203
6.3 深度學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用 /204
6.3.1 概述及現(xiàn)狀 /204
6.3.2 視頻推薦 /205
6.3.3 CTR預(yù)估 /206
6.4 深度學(xué)習(xí)在語音技術(shù)中的應(yīng)用 /209
6.4.1 概述及現(xiàn)狀 /209
6.4.2 語音識別 /209
6.4.3 語音合成 /211
習(xí) 題 /212
參考文獻/213