第1章 跨數據中心機器學習概述 1
1.1 分布式機器學習 5
1.1.1 基本概念 5
1.1.2 國內外發(fā)展現狀 7
1.1.3 并行模式 10
1.1.4 通信范式 21
1.1.5 通信優(yōu)化技術 32
1.2 跨數據中心分布式機器學習 39
1.2.1 產業(yè)發(fā)展背景及需求 39
1.2.2 基本架構 41
1.2.3 面臨的關鍵挑戰(zhàn) 43
1.3 本書的章節(jié)結構 46
本章參考文獻 47
第2章 高效通信架構 58
2.1 分層參數服務器通信架構 59
2.1.1 架構設計方案 59
2.1.2 運行流程與通信模型 61
2.1.3 主要操作原語 64
2.2 部署模式與適用場景 65
2.3 實驗與性能評估 67
2.4 本章小結 70
本章參考文獻 70
第3章 同步優(yōu)化算法 72
3.1 系統(tǒng)模型與基礎同步優(yōu)化算法 73
3.1.1 系統(tǒng)模型 73
3.1.2 全同步通信算法 73
3.1.3 實驗與性能評估 76
3.2 面向受限域間通信資源的同步算法 78
3.2.1 研究現狀 79
3.2.2 內同步累積的低頻同步通信算法 80
3.2.3 實驗與性能評估 83
3.3 面向異構計算與通信資源的同步算法 84
3.3.1 研究現狀 85
3.3.2 延遲補償的混合同步算法 88
3.3.3 迭代次數自適應的同步算法 91
3.3.4 實驗與性能評估 109
3.4 本章小結 119
本章參考文獻 120
第4章 壓縮傳輸機制 123
4.1 稀疏化與量化基本概念 124
4.2 雙向梯度稀疏化技術 127
4.2.1 梯度稀疏化技術 127
4.2.2 稀疏同步技術 128
4.2.3 冗余梯度修正技術 129
4.3 混合精度傳輸技術 132
4.4 實驗與性能評估 133
4.5 本章小結 139
本章參考文獻 139
第5章 梯度傳輸協(xié)議 142
5.1 研究動機 143
5.2 協(xié)議設計及其挑戰(zhàn) 145
5.3 近似梯度分類算法 146
5.3.1 算法設計 146
5.3.2 分類閾值動態(tài)衰減技術 149
5.4 差異化梯度傳輸協(xié)議的設計 149
5.4.1 基于優(yōu)先級的差異化傳輸 150
5.4.2 差異化接收方法 151
5.5 實現和部署 152
5.5.1 DGT通信中間件的功能實現 152
5.5.2 DGT通信中間件的跨數據中心部署 154
5.6 實驗與性能評估 155
5.7 本章小結 165
本章參考文獻 165
第6章 流量傳送調度 168
6.1 基于動態(tài)通信調度的通信覆蓋機制 170
6.1.1 研究動機 170
6.1.2 問題建模 173
6.1.3 通信覆蓋機制設計 175
6.1.4 實現和部署 183
6.1.5 實驗與性能評估 185
6.2 光廣域網中的在線流量調度 192
6.2.1 研究動機 194
6.2.2 任務內調度 195
6.2.3 任務間調度 199
6.2.4 算法性能分析 203
6.2.5 仿真結果與分析 205
6.3 本章小結 211
本章參考文獻 211
第7章 異構數據優(yōu)化算法 214
7.1 研究現狀 216
7.2 系統(tǒng)模型 220
7.3 聯邦組同步算法設計與實現 221
7.3.1 算法設計動機 221
7.3.2 算法設計與實現 223
7.4 組節(jié)點選擇算法設計與實現 226
7.4.1 問題建模與分析 226
7.4.2 算法設計與實現 228
7.5 算法的收斂性與效率分析 231
7.5.1 算法收斂性分析 232
7.5.2 算法效率分析 233
7.6 實驗與性能評估 235
7.7 本章小結 245
本章參考文獻 245
第8章 總結與展望 249
附錄A 縮略語對照表 250