目錄
緒論1
0.1本書(shū)講什么，初衷是什么 1
0.2貫穿本書(shū)的兩大思維模式 3
0.2.1提問(wèn)的思維方式 3
0.2.2發(fā)散的思維方式 4
0.3這本書(shū)決定它還想要這樣 5
0.3.1第一性原理 . 5
0.3.2奧卡姆剃刀原理 7
0.4如何使用本書(shū) 8
第 1章步入監(jiān)督學(xué)習(xí)之旅 .11
1.1機(jī)器學(xué)習(xí)從數(shù)據(jù)開(kāi)始 11
1.2監(jiān)督學(xué)習(xí)是什么 . 14
1.2.1基本術(shù)語(yǔ) 16
1.2.2學(xué)習(xí)過(guò)程如同一場(chǎng)科學(xué)推理 17
1.3如何評(píng)價(jià)模型的好壞 21
1.3.1評(píng)價(jià)模型的量化指標(biāo) 21
1.3.2擬合能力 24
1.3.3泛化能力 24
1.4損失最小化思想 . 25
1.5怎樣理解模型的性能：方差-偏差折中思想 . 27
1.6如何選擇最優(yōu)模型 28
1.6.1正則化：對(duì)模型復(fù)雜程度加以懲罰 28
1.6.2交叉驗(yàn)證：樣本的多次重復(fù)利用 . 30
1.7本章小結(jié) . 31
1.8習(xí)題 31
第 2章線(xiàn)性回歸模型 33
2.1探尋線(xiàn)性回歸模型 33
2.1.1諾貝爾獎(jiǎng)中的線(xiàn)性回歸模型 33
2.1.2回歸模型的誕生 34
2.1.3線(xiàn)性回歸模型結(jié)構(gòu) . 38
2.2最小二乘法 39
2.2.1回歸模型用哪種損失：平方損失 . 40
機(jī)器學(xué)習(xí)中的統(tǒng)計(jì)思維 (Python實(shí)現(xiàn))
2.2.2如何估計(jì)模型參數(shù)：最小二乘法 . 41
2.3線(xiàn)性回歸模型的預(yù)測(cè) 44
2.3.1一元線(xiàn)性回歸模型的預(yù)測(cè) . 44
2.3.2多元線(xiàn)性回歸模型的預(yù)測(cè) . 48
2.4拓展部分：嶺回歸與套索回歸 . 49
2.4.1嶺回歸 50
2.4.2套索回歸 51
2.5案例分析共享單車(chē)數(shù)據(jù)集 . 53
2.6本章小結(jié) . 56
2.7習(xí)題 57
第 3章 K近鄰模型 59
3.1鄰友思想 . 59
3.2 K近鄰算法. 60
3.2.1聚合思想 60
3.2.2 K近鄰模型的具體算法 61
3.2.3 K近鄰算法的三要素 . 63
3.2.4 K近鄰算法的可視化 . 67
3.3最近鄰分類(lèi)器的誤差率 . 67
3.4 k維樹(shù). 70
3.4.1 k維樹(shù)的構(gòu)建 70
3.4.2 k維樹(shù)的搜索 73
3.5拓展部分：距離度量學(xué)習(xí)的 K近鄰分類(lèi)器 76
3.6案例分析鶯尾花數(shù)據(jù)集 79
3.7本章小結(jié) . 83
3.8習(xí)題 83
第 4章貝葉斯推斷 .85
4.1貝葉斯思想 85
4.1.1什么是概率 . 86
4.1.2從概率到條件概率 . 91
4.1.3貝葉斯定理 . 93
4.2貝葉斯分類(lèi)器 97
4.2.1貝葉斯分類(lèi) . 97
4.2.2樸素貝葉斯分類(lèi) 98
4.3如何訓(xùn)練貝葉斯分類(lèi)器 103
4.3.1極大似然估計(jì)：概率最大化思想 104
4.3.2貝葉斯估計(jì)：貝葉斯思想 111
4.4常用的樸素貝葉斯分類(lèi)器.115
4.4.1離散屬性變量下的樸素貝葉斯分類(lèi)器 .115
4.4.2連續(xù)特征變量下的樸素貝葉斯分類(lèi)器 .115
4.5拓展部分 116
4.5.1半樸素貝葉斯.116
目錄
4.5.2貝葉斯網(wǎng)絡(luò) 119
4.6案例分析蘑菇數(shù)據(jù)集 .122
4.7本章小結(jié) 124
4.8習(xí)題.124
4.9閱讀時(shí)間：貝葉斯思想的起源 125
第 5章邏輯回歸模型 131
5.1一切始于邏輯函數(shù).131
5.1.1邏輯函數(shù) .131
5.1.2邏輯斯諦分布.133
5.1.3邏輯回歸 .134
5.2邏輯回歸模型的學(xué)習(xí) .136
5.2.1加權(quán)最小二乘法 .136
5.2.2極大似然法 139
5.3邏輯回歸模型的學(xué)習(xí)算法.141
5.3.1梯度下降法 141
5.3.2牛頓法.143
5.4拓展部分 144
5.4.1拓展 1：多分類(lèi)邏輯回歸模型 144
5.4.2拓展 2：非線(xiàn)性邏輯回歸模型 147
5.5案例分析離職數(shù)據(jù)集 .147
5.6本章小結(jié) 149
5.7習(xí)題.150
5.8閱讀時(shí)間：牛頓法是牛頓提出的嗎 .150
第 6章最大熵模型 . 153
6.1問(wèn)世間熵為何物 153
6.1.1熱力學(xué)熵 .153
6.1.2信息熵.155
6.2最大熵思想.156
6.2.1離散隨機(jī)變量的分布.156
6.2.2連續(xù)隨機(jī)變量的分布.160
6.3最大熵模型的學(xué)習(xí)問(wèn)題 163
6.3.1最大熵模型的定義 163
6.3.2最大熵模型的原始問(wèn)題與對(duì)偶問(wèn)題.167
6.3.3最大熵模型的學(xué)習(xí) 169
6.4模型學(xué)習(xí)的最優(yōu)化算法 173
6.4.1最速梯度下降法 .177
6.4.2擬牛頓法：DFP算法和 BFGS算法 178
6.4.3改進(jìn)的迭代尺度法 179
6.5案例分析湯圓小例子 .183
6.6本章小結(jié) 185
6.7習(xí)題.186
機(jī)器學(xué)習(xí)中的統(tǒng)計(jì)思維 (Python實(shí)現(xiàn))
6.8閱讀時(shí)間：奇妙的對(duì)數(shù) 187
第 7章決策樹(shù)模型 . 191
7.1決策樹(shù)中蘊(yùn)含的基本思想.191
7.1.1什么是決策樹(shù).191
7.1.2決策樹(shù)的基本思想 195
7.2決策樹(shù)的特征選擇.195
7.2.1錯(cuò)分類(lèi)誤差 195
7.2.2基于熵的信息增益和信息增益比 196
7.2.3基尼不純度 199
7.2.4比較錯(cuò)分類(lèi)誤差、信息熵和基尼不純度 201
7.3決策樹(shù)的生成算法.201
7.3.1 ID3算法202
7.3.2 C4.5算法 205
7.3.3 CART算法205
7.4決策樹(shù)的剪枝過(guò)程.211
7.4.1預(yù)剪枝.211
7.4.2后剪枝.213
7.5拓展部分：隨機(jī)森林 .223
7.6案例分析帕爾默企鵝數(shù)據(jù)集 .223
7.7本章小結(jié) 226
7.8習(xí)題.226
7.9閱讀時(shí)間：經(jīng)濟(jì)學(xué)中的基尼指數(shù).227
第 8章感知機(jī)模型 . 231
8.1感知機(jī)制從邏輯回歸到感知機(jī) .231
8.2感知機(jī)的學(xué)習(xí) .233
8.3感知機(jī)的優(yōu)化算法.234
8.3.1原始形式算法.235
8.3.2對(duì)偶形式算法.239
8.4案例分析鶯尾花數(shù)據(jù)集 .241
8.5本章小結(jié) 243
8.6習(xí)題.243
第 9章支持向量機(jī) . 245
9.1從感知機(jī)到支持向量機(jī) 245
9.2線(xiàn)性可分支持向量機(jī) .248
9.2.1線(xiàn)性可分支持向量機(jī)與最大間隔算法 .248
9.2.2對(duì)偶問(wèn)題與硬間隔算法 .254
9.3線(xiàn)性支持向量機(jī) 258
9.3.1線(xiàn)性支持向量機(jī)的學(xué)習(xí)問(wèn)題.259
9.3.2對(duì)偶問(wèn)題與軟間隔算法 .260
9.3.3線(xiàn)性支持向量機(jī)之合頁(yè)損失.263
9.4非線(xiàn)性支持向量機(jī).265
目錄
9.4.1核變換的根本核函數(shù) 266
9.4.2非線(xiàn)性可分支持向量機(jī) .277
9.4.3非線(xiàn)性支持向量機(jī) 278
9.5 SMO優(yōu)化方法 .279
9.5.1失敗的坐標(biāo)下降法 .279
9.5.2成功的SMO算法.280
9.6案例分析電離層數(shù)據(jù)集 .287
9.7本章小結(jié) 288
9.8習(xí)題.289
第 10章 EM算法 291
10.1極大似然法與 EM算法 .291
10.1.1具有缺失數(shù)據(jù)的豆花小例子291
10.1.2具有隱變量的硬幣盲盒例子295
10.2 EM算法的迭代過(guò)程298
10.2.1 EM算法中的兩部曲 298
10.2.2 EM算法的合理性 .302
10.3 EM算法的應(yīng)用 305
10.3.1高斯混合模型305
10.3.2隱馬爾可夫模型 309
10.4本章小結(jié) 316
10.5習(xí)題 .317
第 11章提升方法. 319
11.1提升方法（Boosting）是一種集成學(xué)習(xí)方法.319
11.1.1什么是集成學(xué)習(xí) 319
11.1.2強(qiáng)可學(xué)習(xí)與弱可學(xué)習(xí)321
11.2起步于 AdaBoost算法 323
11.2.1兩大內(nèi)核：前向回歸和可加模型 .323
11.2.2 AdaBoost的前向分步算法.324
11.2.3 AdaBoost分類(lèi)算法 .326
11.2.4 AdaBoost分類(lèi)算法的訓(xùn)練誤差 333
11.3提升樹(shù)和 GBDT算法 .339
11.3.1回歸提升樹(shù) .339
11.3.2 GDBT算法 342
11.4拓展部分：XGBoost算法344
11.5案例分析波士頓房?jī)r(jià)數(shù)據(jù)集 .346
11.6本章小結(jié) 347
11.7習(xí)題 .348
參考文獻(xiàn) . 349
書(shū)單推薦
