1 深度生成模型
1.1 引言
1.2 模型定義
1.2.1 生成模型基本概念
1.2.2 基于層次化貝葉斯的建模
1.2.3 基于深度神經(jīng)網(wǎng)絡(luò)的建模
1.3 學(xué)習(xí)方法
1.3.1 最大似然估計
1.3.2 對抗式生成網(wǎng)絡(luò)
1.3.3 矩匹配深度生成模型
1.4 “珠算”概率編程庫
1.4.1 模型構(gòu)建
1.4.2 推斷和學(xué)習(xí)算法
1.5 典型應(yīng)用
1.5.1 生成高質(zhì)量的圖片、視頻、音頻
1.5.2 半監(jiān)督學(xué)習(xí)
1.5.3 風(fēng)格遷移
1.5.4 強化學(xué)習(xí)
1.6 總結(jié)與展望
參考文獻
2 生成式對抗網(wǎng)絡(luò)
2.1 引言
2.2 生成式對抗網(wǎng)絡(luò)概況
2.2.1 GAN提出的背景
2.2.2 GAN的基本概念
2.2.3 GAN的優(yōu)勢
2.2.4 GAN面臨的挑戰(zhàn)
2.2.5 小結(jié)
2.3 GAN的網(wǎng)絡(luò)結(jié)構(gòu)
2.3.1 DOCN
2.3.2 OGAN
2.3.3 InfoCAN
2.3.4 其他網(wǎng)絡(luò)結(jié)構(gòu)
2.4 GAN的損失函數(shù)
2.4.1 LSGAN
2.4.2 WGAN
2.4.3 WGAN-GP
2.4.4 EBGAN
2.4.5 BEGAN
2.4.6 RGAN
2.5 GAN的正則化方法
2.5.1 批歸一化
2.5.2 權(quán)值歸一化
2.5.3 譜歸一化
2.5.4 正則化方法比較
2.6 GAN的訓(xùn)練與評價
2.6.1 訓(xùn)練技巧
2.6.2 優(yōu)化算法
2.6.3 評價指標
2.7 GAN的應(yīng)用
2.7.1 計算機視覺
2.7.2 自然語言處理
2.7.3 智能語音
2.7.4 其他領(lǐng)域
2.8 總結(jié)與展望
參考文獻
3 模型驅(qū)動深度學(xué)習(xí)
3.1 模型驅(qū)動深度學(xué)習(xí)概述
3.2 優(yōu)化模型驅(qū)動的深度學(xué)習(xí)
3.2.1 稀疏編碼優(yōu)化深度網(wǎng)絡(luò)
3.2.2 ADMM深度網(wǎng)絡(luò)及其在壓縮傳感成像中的應(yīng)用
3.3 統(tǒng)計模型驅(qū)動的深度學(xué)習(xí)
3.3.1 MRF統(tǒng)計分布參數(shù)估計的深度學(xué)習(xí)方法
3.3.2 條件隨機場模型驅(qū)動的深度學(xué)習(xí)
3.3.3 小結(jié)
3.4 其他領(lǐng)域模型驅(qū)動的深度學(xué)習(xí)方法
3.5 總結(jié)與展望
參考文獻
4 自步一課程學(xué)習(xí)
4.1 課程學(xué)習(xí)
4.2 自步學(xué)習(xí)
4.3 自步正則
4.4 自步一課程學(xué)習(xí)
4.5 用武之地
4.6 從強監(jiān)督到弱監(jiān)督
4.6.1 零樣本學(xué)習(xí)
4.6.2 弱監(jiān)督學(xué)習(xí)——多示例學(xué)習(xí)
4.6.3 半監(jiān)督學(xué)習(xí)——自步協(xié)同學(xué)習(xí)
4.7 自步一課程學(xué)習(xí)理論
4.7.1 穩(wěn)健性理論
4.7.2 收斂性理論
4.7.3 凹共軛理論
4.8 元學(xué)習(xí)方法
4.9 總結(jié)與展望
參考文獻
5 強化學(xué)習(xí)
5.1 強化學(xué)習(xí)簡介
5.1.1 強化學(xué)習(xí)模型
5.1.2 馬爾可夫決策過程
5.1.3 學(xué)習(xí)最優(yōu)策略：無模型方法
5.1.4 通過學(xué)習(xí)模型來計算最優(yōu)策略
5.2 深度強化學(xué)習(xí)
5.2.1 基于值函數(shù)的深度強化學(xué)習(xí)
5.2.2 基于策略梯度的深度強化學(xué)習(xí)
5.2.3 基于行動者一評論家的深度強化學(xué)習(xí)
5.3 遷移強化學(xué)習(xí)
5.3.1 遷移強化學(xué)習(xí)的定義
5.3.2 基于樣例遷移的遷移強化學(xué)習(xí)
5.3.3 基于表示遷移的遷移強化學(xué)習(xí)
5.3.4 基于參數(shù)遷移的遷移強化學(xué)習(xí)
5.3.5 基于關(guān)系遷移的遷移強化學(xué)習(xí)
5.3.6 遷移強化學(xué)習(xí)的評估
5.4 分層強化學(xué)習(xí)
5.4.1 基于選項的分層強化學(xué)習(xí)
5.4.2 基于MaxQ函數(shù)分解的分層強化學(xué)習(xí)
5.4.3 基于分層抽象機的分層強化學(xué)習(xí)
5.4.4 深度分層強化學(xué)習(xí)和自動分層
5.5 逆向強化學(xué)習(xí)
5.5.1 基本概念
5.5.2 求解獎勵函數(shù)
5.5.3 大狀態(tài)空間下的獎勵函數(shù)求解
5.5.4 基于最大熵的逆向強化學(xué)習(xí)
5.5.5 生成對抗模仿學(xué)習(xí)算法
5.6 多智能體強化學(xué)習(xí)
5.6.1 多智能體學(xué)習(xí)目標
5.6.2 基于表格表征的多智能體強化學(xué)習(xí)
5.6.3 深度多智能體強化學(xué)習(xí)
參考文獻
6 遷移學(xué)習(xí)
6.1 遷移學(xué)習(xí)的概念
6.1.1 遷移學(xué)習(xí)的定義
6.1.2 遷移學(xué)習(xí)的問題設(shè)定
6.2 遷移學(xué)習(xí)的理論基礎(chǔ)
6.2.1 數(shù)據(jù)集偏移及其原因
6.2.2 轉(zhuǎn)導(dǎo)遷移學(xué)習(xí)經(jīng)典理論
6.2.3 間隔分歧散度
6.2.4 j納遷移學(xué)習(xí)的經(jīng)典理論
6.3 歸納遷移學(xué)習(xí)
6.3.1 有監(jiān)督預(yù)訓(xùn)練
6.3.2 無監(jiān)督預(yù)訓(xùn)練
6.3.3 微調(diào)
6.4 轉(zhuǎn)導(dǎo)遷移學(xué)習(xí)
6.4.1 樣本重要性加權(quán)方法
6.4.2 基于距離約束的領(lǐng)域適應(yīng)方法
6.4.3 基于對抗學(xué)習(xí)的領(lǐng)域適應(yīng)方法
6.5 無監(jiān)督遷移學(xué)習(xí)
6.5.1 雙向生成式對抗網(wǎng)絡(luò)
6.6 遷移學(xué)習(xí)的相關(guān)范式
6.6.1 多任務(wù)學(xué)習(xí)
6.6.2 少樣本學(xué)習(xí)
6.6.3 持續(xù)學(xué)習(xí)
6.6.4 元學(xué)習(xí)
6.7 遷移學(xué)習(xí)的應(yīng)用
6.7.1 智慧醫(yī)療
6.7.2 自動駕駛
6.7.3 機器人控制
參考文獻
7 演化智能
7.1 演化人工神經(jīng)網(wǎng)絡(luò)
7.1.1 權(quán)值演化
7.1.2 網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)規(guī)則的演化
7.1.3 EPNet：一種混合型演化神經(jīng)網(wǎng)絡(luò)方法
7.2 多目標演化
7.2.1 演化多目標優(yōu)化
7.2.2 演化多目標機器學(xué)習(xí)
7.3 協(xié)同演化
7.3.1 協(xié)同