第 1 章　起源：擴(kuò)散模型簡(jiǎn)介 1 11　生成模型的發(fā)展史 1 12 擴(kuò)散模型核心思想介紹 4 121 擴(kuò)散過(guò)程及其逆過(guò)程 4 122　擴(kuò)散模型的訓(xùn)練 7 123　擴(kuò)散模型的推斷 8 124　擴(kuò)散模型的評(píng)價(jià)指標(biāo) 9 125　擴(kuò)散模型的類(lèi)型 10 13　條件擴(kuò)散模型 13 131　分類(lèi)器引導(dǎo)采樣和無(wú)分類(lèi)器引導(dǎo)采樣 13 132　ControlNet 15 14　擴(kuò)散模型加速采樣方法 17 141　training-free 加速采樣方法 18 142　training-based 加速采樣方法24 參考文獻(xiàn)27 第 2 章　基石：擴(kuò)散模型與軌跡優(yōu)化問(wèn)題 29 21　離線(xiàn)強(qiáng)化學(xué)習(xí) 29 22　第 一個(gè)基于擴(kuò)散模型的決策智能體：Plan Diffuser 31 221　以軌跡片段為對(duì)象的擴(kuò)散模型 31 222　Plan Diffuser 的建模與優(yōu)化 32 223　Plan Diffuser 的特性 39 224　從實(shí)驗(yàn)中解析 Plan Diffuser 40 225　靈活的測(cè)試目標(biāo) 42 226　離線(xiàn)強(qiáng)化學(xué)習(xí) 43 227　擴(kuò)散模型熱啟動(dòng) 44 23　條件生成決策模型的集大成者：Decision Diffuser 45 231　Decision Diffuser 的建模與優(yōu)化 45 232　回報(bào)以外的條件變量 47 24　代碼實(shí)戰(zhàn) 54 241　導(dǎo)入第三方庫(kù) 54 242　準(zhǔn)備數(shù)據(jù)集 54 243　配置擴(kuò)散模型 56 244　實(shí)例化擴(kuò)散模型 57 245　訓(xùn)練條件擴(kuò)散模型 57 246　條件采樣 58 參考文獻(xiàn)60 第 3 章　基石：擴(kuò)散模型與價(jià)值函數(shù)的結(jié)合 61 31　強(qiáng)化學(xué)習(xí)中基于價(jià)值函數(shù)的策略?xún)?yōu)化 61 32 Diffusion-QL ：高效建模離線(xiàn)數(shù)據(jù)集中的行為策略 62 33 CEP 和 QGPO ：借助能量函數(shù)設(shè)計(jì)新的引導(dǎo)器 64 331　對(duì)比能量預(yù)測(cè)法 65 332　基于 Q 價(jià)值函數(shù)引導(dǎo)的策略?xún)?yōu)化 69 34 LDCQ ：擴(kuò)散模型約束下的 Q-learning 77 341　背景知識(shí) 78 342　隱空間擴(kuò)散強(qiáng)化學(xué)習(xí) 80 343　以目標(biāo)為條件的隱空間擴(kuò)散模型 84 344　實(shí)驗(yàn)與分析 84 345　局限性與展望 88 參考文獻(xiàn)89 第 4 章　基石：擴(kuò)散模型訓(xùn)練技巧指南 90 41　如何設(shè)計(jì)去噪網(wǎng)絡(luò) 90 411　U-Net 90 412　DiT 92 413　文本編碼器 98 42　如何設(shè)計(jì)訓(xùn)練方案 99 421　連續(xù)時(shí)間擴(kuò)散模型的訓(xùn)練 99 422　擴(kuò)散過(guò)程的設(shè)計(jì)與選擇 100 423　擴(kuò)散模型建模目標(biāo)與訓(xùn)練方式的選擇 102 43　如何選擇擴(kuò)散模型的類(lèi)型 104 44　代碼實(shí)戰(zhàn) 105 參考文獻(xiàn) 106 第 5 章　擴(kuò)展：多任務(wù)泛化 108 51　離線(xiàn)元強(qiáng)化學(xué)習(xí) 108 52 MetaDiffuser 108 521　面向任務(wù)的上下文編碼器 109 522　條件擴(kuò)散模型架構(gòu) 110 523　雙引導(dǎo)增強(qiáng)規(guī)劃器 111 參考文獻(xiàn) 112 第 6 章　擴(kuò)展：世界模型建模 113 61 世界模型簡(jiǎn)介 113 62 基于 RNN 的世界模型 114 621　論文“World Models” 114 622　DreamerV3 115 63　基于 Transformer 的世界模型 122 631　IRIS 122 632　TWM 124 633　STORM 124 64　基于擴(kuò)散模型的世界模型 126 641　擴(kuò)散范式的最佳實(shí)踐126 642　實(shí)驗(yàn)結(jié)果 129 參考文獻(xiàn) 132 第 7 章　反轉(zhuǎn)：用強(qiáng)化學(xué)習(xí)來(lái)優(yōu)化擴(kuò)散模型 133 71　引言 133 72 DDPO ：將去噪過(guò)程建模為序列決策過(guò)程 133 721　將擴(kuò)散模型建模為多步 MDP 135 722　策略梯度估計(jì) 136 723　各種獎(jiǎng)勵(lì)模型下的采樣表現(xiàn) 136 73 Diffusion-DPO ：運(yùn)用于擴(kuò)散模型的直接偏好優(yōu)化 139 731　從 RLHF 到 DPO 140 732　將 RLHF 用于文本圖像對(duì)齊 141 733　將 DPO 用于文本圖像對(duì)齊 142 734　將 DPO 用于擴(kuò)散模型優(yōu)化 143 735　文本圖像對(duì)齊實(shí)驗(yàn) 145 736　從強(qiáng)化學(xué)習(xí)角度推導(dǎo) Diffusion-DPO 147 74 DRaFT ：通過(guò)可微分獎(jiǎng)勵(lì)函數(shù)直接優(yōu)化擴(kuò)散模型 149 741　DRaFT 149 742　DRaFT-K 150 743　DRaFT-LV 151 744　實(shí)驗(yàn)結(jié)果 151 75　代碼實(shí)戰(zhàn) 152 參考文獻(xiàn) 157 第 8 章　擴(kuò)展：擴(kuò)散模型在決策問(wèn)題上的新進(jìn)展 158 81　基于生成模型的強(qiáng)化學(xué)習(xí)策略 158 82　決策基模型中的擴(kuò)散模型 161 821　ViNT 162 822　NoMaD 166 823　SuSIE 170 83　總結(jié)與展望 177 參考文獻(xiàn) 177