本書旨在用極少的數(shù)學基本思想、概念和方法，處理大量的應用問題。全書分為三部分，第壹部分介紹向量及各種向量運算和函數(shù)，如加法、內(nèi)積、距離及夾角，還描述了在應用問題中如何使用向量表示文檔的單詞計數(shù)、時間序列、患者的屬性、商品的銷售、音軌、圖像或投資組合；第二部分對矩陣做了類似的介紹，并介紹了矩陣的逆和求解線性方程組的方法；第三部分介紹*小二乘法。本書展示了求解一組超定方程組簡單而又自然的思想，并將這一思想加以推廣，以求解很多應用問題。
譯者序
前言
第一部分 向量
第 1 章 向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1 定義 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 向量加法 . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3 標量與向量的乘法. . . . . . . . . . . . . . . .11
1.4 內(nèi)積 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.5 向量運算的復雜度. . . . . . . . . . . . . . . .17
練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
第 2 章 線性函數(shù) . . . . . . . . . . . . . . . . . . . . . . . 24
2.1 表示形式 . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2 Taylor 近似 . . . . . . . . . . . . . . . . . . . . . . . 29
2.3 回歸模型 . . . . . . . . . . . . . . . . . . . . . . . . . 31
練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
第 3 章 范數(shù)和距離. . . . . . . . . . . . . . . . . . . . .37
3.1 范數(shù) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.2 距離 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.3 標準差. . . . . . . . . . . . . . . . . . . . . . . . . . . .43
3.4 夾角 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.5 復雜度. . . . . . . . . . . . . . . . . . . . . . . . . . . .51
練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
第 4 章 聚類 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.1 向量的聚類 . . . . . . . . . . . . . . . . . . . . . . . 58
4.2 聚類的目標函數(shù) . . . . . . . . . . . . . . . . . . 60
4.3 k-means 算法 . . . . . . . . . . . . . . . . . . . . . 62
4.4 例子 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.5 應用問題 . . . . . . . . . . . . . . . . . . . . . . . . . 70
練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
第 5 章 線性無關(guān) . . . . . . . . . . . . . . . . . . . . . . . 73
5.1 線性相關(guān) . . . . . . . . . . . . . . . . . . . . . . . . . 73
5.2 基 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
5.3 規(guī)范正交向量 . . . . . . . . . . . . . . . . . . . . 78
5.4 Gram-Schmidt 算法. . . . . . . . . . . . . . .80
練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
第二部分 矩陣
第 6 章 矩陣 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
6.1 矩陣的形式 . . . . . . . . . . . . . . . . . . . . . . . 88
6.2 零矩陣與單位矩陣. . . . . . . . . . . . . . . .93
6.3 轉(zhuǎn)置、加法和范數(shù) . . . . . . . . . . . . . . . . 95
6.4 矩陣與向量的乘法. . . . . . . . . . . . . . . .98
6.5 復雜度 . . . . . . . . . . . . . . . . . . . . . . . . . . 102
練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
第 7 章 矩陣示例 . . . . . . . . . . . . . . . . . . . . . . 108
7.1 幾何變換 . . . . . . . . . . . . . . . . . . . . . . . . 108
7.2 提取 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
7.3 關(guān)聯(lián)矩陣 . . . . . . . . . . . . . . . . . . . . . . . . 111
7.4 卷積 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
第 8 章 線性方程組 . . . . . . . . . . . . . . . . . . . 124
8.1 線性函數(shù)和仿射函數(shù) . . . . . . . . . . . . 124
8.2 線性函數(shù)模型 . . . . . . . . . . . . . . . . . . . 126
8.3 線性方程組及其應用 . . . . . . . . . . . . 129
練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
第 9 章 線性動力系統(tǒng) . . . . . . . . . . . . . . . . . 139
9.1 線性動力系統(tǒng)簡介. . . . . . . . . . . . . . .139
9.2 人口動力學. . . . . . . . . . . . . . . . . . . . . .140
9.3 流行病動力學 . . . . . . . . . . . . . . . . . . . 143
VIII
9.4 物體的運動. . . . . . . . . . . . . . . . . . . . . .144
9.5 供應鏈動力學 . . . . . . . . . . . . . . . . . . . 147
練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
第 10 章 矩陣乘法. . . . . . . . . . . . . . . . . . . . .151
10.1 矩陣與矩陣的乘法 . . . . . . . . . . . . . 151
10.2 線性函數(shù)的復合 . . . . . . . . . . . . . . . . 156
10.3 矩陣的冪 . . . . . . . . . . . . . . . . . . . . . . . 159
10.4 QR 分解. . . . . . . . . . . . . . . . . . . . . . . .162
練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
第 11 章 逆矩陣 . . . . . . . . . . . . . . . . . . . . . . . 173
11.1 左逆和右逆. . . . . . . . . . . . . . . . . . . . .173
11.2 逆 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
11.3 求解線性方程組 . . . . . . . . . . . . . . . . 180
11.4 例子. . . . . . . . . . . . . . . . . . . . . . . . . . . .183
11.5 偽逆. . . . . . . . . . . . . . . . . . . . . . . . . . . .187
練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
第三部分 最小二乘法
第 12 章 最小二乘. . . . . . . . . . . . . . . . . . . . .198
12.1 最小二乘問題 . . . . . . . . . . . . . . . . . . 198
12.2 解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
12.3 求解最小二乘問題 . . . . . . . . . . . . . 204
12.4 例子. . . . . . . . . . . . . . . . . . . . . . . . . . . .206
練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
第 13 章 最小二乘數(shù)據(jù)擬合 . . . . . . . . . . . 215
13.1 最小二乘數(shù)據(jù)擬合簡介. . . . . . . . .215
13.2 驗證. . . . . . . . . . . . . . . . . . . . . . . . . . . .229
13.3 特征工程 . . . . . . . . . . . . . . . . . . . . . . . 236
練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
第 14 章 最小二乘分類 . . . . . . . . . . . . . . . . 252
14.1 分類. . . . . . . . . . . . . . . . . . . . . . . . . . . .252
14.2 最小二乘分類器 . . . . . . . . . . . . . . . . 254
14.3 多類分類器. . . . . . . . . . . . . . . . . . . . .261
練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
第 15 章 多目標最小二乘 . . . . . . . . . . . . . 271
15.1 簡介. . . . . . . . . . . . . . . . . . . . . . . . . . . .271
15.2 控制. . . . . . . . . . . . . . . . . . . . . . . . . . . .275
15.3 估計與反演. . . . . . . . . . . . . . . . . . . . .277
15.4 正則化的數(shù)據(jù)擬合 . . . . . . . . . . . . . 286
15.5 復雜度 . . . . . . . . . . . . . . . . . . . . . . . . . 290
練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
第 16 章 帶約束最小二乘 . . . . . . . . . . . . . 297
16.1 帶約束最小二乘問題 . . . . . . . . . . . 297
16.2 解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
16.3 求解帶約束最小二乘問題 . . . . . . 305
練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
第 17 章 帶約束最小二乘的應用 . . . . . . 313
17.1 投資組合優(yōu)化 . . . . . . . . . . . . . . . . . . 313
17.2 線性二次控制 . . . . . . . . . . . . . . . . . . 320
17.3 線性二次狀態(tài)估計 . . . . . . . . . . . . . 326
練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330
第 18 章 非線性最小二乘 . . . . . . . . . . . . . 334
18.1 非線性方程組和最小二乘 . . . . . . 334
18.2 Gauss-Newton 算法. . . . . . . . . . . . .338
18.3 Levenberg-Marquardt 算法 . . . . . 343
18.4 非線性模型擬合 . . . . . . . . . . . . . . . . 349
18.5 非線性最小二乘分類 . . . . . . . . . . . 351
練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359
第 19 章 帶約束非線性最小二乘 . . . . . . 365
19.1 非線性最小二乘問題的推廣 . . . . 365
19.2 罰算法 . . . . . . . . . . . . . . . . . . . . . . . . . 366
19.3 增廣的 Lagrange 算法 . . . . . . . . . . 367
19.4 非線性控制. . . . . . . . . . . . . . . . . . . . .374
練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377
附錄 A 記號 . . . . . . . . . . . . . . . . . . . . . . . . . . 380
附錄 B 復雜度. . . . . . . . . . . . . . . . . . . . . . . .382
附錄 C 導數(shù)和優(yōu)化 . . . . . . . . . . . . . . . . . . . 384
附錄 D 進一步學習 . . . . . . . . . . . . . . . . . . . 391
索引 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
書單推薦
