目錄
叢書序
前言
英文版前言
符號表
第1章 緒論 1
參考文獻(xiàn) 9
第2章 線性回歸 11
2.1 最小二乘法 11
2.2 主成分分析與主成分回歸 21
2.3 最小絕對值收斂和選擇算子（L1） 30
2.4 嶺回歸（L2） 33
2.5 彈性網(wǎng)絡(luò)回歸 37
2.6 多任務(wù)LASSO 40
作業(yè) 43
參考文獻(xiàn) 44
第3章 線性分類 46
3.1 感知機(jī) 48
3.2 邏輯斯諦回歸 51
3.3 線性判別分析 63
作業(yè) 69
參考文獻(xiàn) 71
第4章 支持向量機(jī) 72
4.1 支持向量分類 72
4.2 核函數(shù) 77
4.3 軟間隔 84
4.4 支持向量回歸 89
作業(yè) 95
參考文獻(xiàn) 97
第5章 決策樹和K近鄰 99
5.1 分類樹 99
5.2 回歸樹 107
5.3 K最近鄰方法 114
作業(yè) 118
參考文獻(xiàn) 119
第6章 集成學(xué)習(xí) 120
6.1 Boosting方法 121
6.1.1 AdaBoost分類 121
6.1.2 AdaBoost回歸和梯度提升器 128
6.1.3 損失函數(shù)的二階展開提升學(xué)習(xí)（SOB） 132
6.1.4 極限梯度提升器（XGBoost） 133
6.2 裝袋法 135
作業(yè) 139
參考文獻(xiàn) 140
第7章 貝葉斯定理和期望最大化算法 142
7.1 貝葉斯定理 142
7.2 樸素貝葉斯分類器 143
7.3 最大似然估計 149
7.3.1 高斯分布 149
7.3.2 韋布爾分布 151
7.4 貝葉斯線性回歸 155
7.5 期望最大化算法 163
7.5.1 高斯混合模型 163
7.5.2 洛倫茲分布與高斯分布的混合分布 175
7.6 高斯過程回歸 185
作業(yè) 193
參考文獻(xiàn) 194
第8章 符號回歸 195
8.1 進(jìn)化計算綜述 195
8.2 遺傳編程 196
8.3 語法引導(dǎo)的遺傳編程和語法進(jìn)化 199
8.4 LASSO在符號回歸中的應(yīng)用 206
作業(yè) 207
參考文獻(xiàn) 207
第9章 神經(jīng)網(wǎng)絡(luò) 209
9.1 神經(jīng)網(wǎng)絡(luò)和感知機(jī) 209
9.2 反向傳播算法 211
9.3 神經(jīng)網(wǎng)絡(luò)中的正則化 219
9.3.1 L1正則化 219
9.3.2 L2正則化 226
9.4 神經(jīng)網(wǎng)絡(luò)分類 230
9.4.1 二分類問題 230
9.4.2 單類別下多等級分類問題 236
9.5 自編碼器 240
9.5.1 引言 240
9.5.2 去噪自編碼器 241
9.5.3 稀疏自編碼器 248
9.5.4 變分自編碼器 255
作業(yè) 277
參考文獻(xiàn) 278
第10章 隱馬爾可夫鏈 279
10.1 馬爾可夫鏈 279
10.2 靜態(tài)馬爾可夫鏈 282
10.3 馬爾可夫鏈蒙特卡羅方法 283
10.3.1 Metropolis Hastings（M-H）算法 285
10.3.2 吉布斯抽樣算法 286
10.4 觀測序列概率的計算方法 289
10.4.1 直接法 289
10.4.2 正向法 291
10.4.3 反向法 293
10.5 最優(yōu)狀態(tài)序列評估 295
10.5.1 直接法 295
10.5.2 維特比算法 296
10.6 本征參數(shù)評估—鮑姆-韋爾奇算法 297
作業(yè) 307
參考文獻(xiàn) 308
第11章 數(shù)據(jù)預(yù)處理與特征選擇 310
11.1 可靠數(shù)據(jù)、正常數(shù)據(jù)、異常數(shù)據(jù)檢測 310
11.1.1 局部離群因子 311
11.1.2 孤立森林 314
11.1.3 單類支持向量機(jī) 317
11.1.4 支持向量數(shù)據(jù)描述 322
11.2 特征選擇 326
11.2.1 過濾式方法 326
11.2.2 包裹式選擇 351
11.2.3 嵌入式特征重要性評估 358
作業(yè) 362
參考文獻(xiàn) 363
第12章 可解釋性的SHAP值和部分依賴圖 365
12.1 SHAP值 365
12.2 兩個特征的聯(lián)合SHAP值 379
12.3 部分依賴圖（PDP） 381
12.3.1 單特征部分依賴圖 381
12.3.2 雙特征及多特征部分依賴圖 385
作業(yè) 392
參考文獻(xiàn) 393
附錄1 向量和矩陣 394
A1.1 定義 394
A1.1.1 向量 394
A1.1.2 矩陣 394
A1.2 矩陣代數(shù) 394
A1.2.1 逆和轉(zhuǎn)置 394
A1.2.2 跡 395
A1.2.3 行列式 395
A1.2.4 特征值和特征向量 396
A1.2.5 奇異值分解 396
A1.2.6 偽逆 396
A1.2.7 一些常用的恒等式 397
A1.3 矩陣分析 397
A1.3.1 矩陣的導(dǎo)數(shù) 397
A1.3.2 行列式的導(dǎo)數(shù) 398
A1.3.3 逆矩陣的導(dǎo)數(shù) 398
A1.3.4 雅可比矩陣和黑塞矩陣 398
A1.3.5 鏈?zhǔn)椒▌t 399
參考文獻(xiàn) 399
附錄2 統(tǒng)計學(xué)基礎(chǔ) 400
A2.1 概率 400
A2.1.1 聯(lián)合概率 400
A2.1.2 貝葉斯定理 400
A2.1.3 連續(xù)變量的概率密度 400
A2.1.4 分位數(shù)函數(shù) 401
A2.1.5 隨機(jī)變量的期望、方差和協(xié)方差 401
A2.2 分布 401
A2.2.1 伯努利分布 401
A2.2.2 二項分布 401
A2.2.3 泊松分布 402
A2.2.4 高斯分布 402
A2.2.5 韋布爾分布 402
A2.2.6 卡方（X2）分布和卡方（X2）檢驗 403
A2.2.7 學(xué)生t分布和t檢驗 403
參考文獻(xiàn) 403
索引 404