第1章　引言 1
1.1　監(jiān)督學(xué)習(xí) 1
1.1.1　回歸和分類(lèi)問(wèn)題 2
1.1.2　輸入 3
1.1.3　機(jī)器學(xué)習(xí)模型 4
1.1.4　深度神經(jīng)網(wǎng)絡(luò) 5
1.1.5　結(jié)構(gòu)化輸出 5
1.2　無(wú)監(jiān)督學(xué)習(xí) 7
1.2.1　生成模型 7
1.2.2　潛變量 9
1.2.3　聯(lián)系監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí) 10
1.3　強(qiáng)化學(xué)習(xí) 11
1.4　倫理學(xué) 12
1.5　本書(shū)編排方式 13
1.6　其他書(shū)籍 14
1.7　如何閱讀本書(shū) 15
第2章　監(jiān)督學(xué)習(xí) 16
2.1　監(jiān)督學(xué)習(xí)概述 16
2.2　線性回歸示例 17
2.2.1　一維(1D)線性回歸模型 17
2.2.2　損失 18
2.2.3　訓(xùn)練 20
2.2.4　測(cè)試 21
2.3　本章小結(jié) 21
2.4　注釋 22
2.5　問(wèn)題 22
第3章　淺層神經(jīng)網(wǎng)絡(luò) 24
3.1　神經(jīng)網(wǎng)絡(luò)示例 24
3.1.1　神經(jīng)網(wǎng)絡(luò)的直觀理解 25
3.1.2　描繪神經(jīng)網(wǎng)絡(luò) 27
3.2 　通用逼近定理 28
3.3　多變量輸入和輸出 29
3.3.1　可視化多變量輸出 29
3.3.2　可視化多變量輸入 30
3.4　淺層神經(jīng)網(wǎng)絡(luò)：一般情形 33
3.5　術(shù)語(yǔ) 33
3.6　本章小結(jié) 34
3.7　注釋 34
3.8　問(wèn)題 37
第4章　深度神經(jīng)網(wǎng)絡(luò) 40
4.1　組合神經(jīng)網(wǎng)絡(luò) 40
4.2　從組合網(wǎng)絡(luò)到深度網(wǎng)絡(luò) 43
4.3　深度神經(jīng)網(wǎng)絡(luò) 43
4.4　矩陣表示法 46
4.5　淺層與深度神經(jīng)網(wǎng)絡(luò) 48
4.5.1　逼近不同函數(shù)的能力 48
4.5.2　每參數(shù)線性區(qū)域數(shù)量 48
4.5.3　深度效率 49
4.5.4　大型結(jié)構(gòu)化輸入 49
4.5.5　訓(xùn)練和泛化 49
4.6　本章小結(jié) 50
4.7　注釋 50
4.8　問(wèn)題 51
第5章　損失函數(shù) 54
5.1　最大似然 54
5.1.1　計(jì)算輸出分布 56
5.1.2　最大似然準(zhǔn)則 56
5.1.3　最大化對(duì)數(shù)似然 56
5.1.4　最小化負(fù)對(duì)數(shù)似然 57
5.1.5　模型推理 58
5.2　構(gòu)建損失函數(shù) 58
5.3　示例1：?jiǎn)巫兞炕貧w問(wèn)題 58
5.3.1　最小二乘損失函數(shù) 59
5.3.2　模型推理 61
5.3.3　方差估計(jì) 61
5.3.4　異方差回歸 62
5.4　示例2：二分類(lèi)問(wèn)題 63
5.5　示例3：多分類(lèi)問(wèn)題 65
5.6　多輸出問(wèn)題 67
5.7　交叉熵?fù)p失 68
5.8　本章小結(jié) 69
5.9　注釋 70
5.10　問(wèn)題 71
第6章　模型訓(xùn)練 74
6.1　梯度下降法 74
6.1.1　線性回歸示例 75
6.1.2　Garbor模型示例 77
6.1.3　局部最小值和鞍點(diǎn) 77
6.2　隨機(jī)梯度下降 79
6.2.1　批次和epoch 80
6.2.2　隨機(jī)梯度下降的特性 82
6.3　動(dòng)量 82
6.4　Adam 優(yōu)化器 84
6.5　訓(xùn)練算法超參數(shù) 86
6.6　本章小結(jié) 87
6.7　注釋 87
6.8　問(wèn)題 90
第7章　梯度與參數(shù)初始化 93
7.1　問(wèn)題定義 93
7.2　計(jì)算導(dǎo)數(shù) 95
7.3　簡(jiǎn)單示例 96
7.4　反向傳播算法 99
7.4.1　反向傳播算法總結(jié) 102
7.4.2　自動(dòng)微分 103
7.4.3　擴(kuò)展到任意計(jì)算圖 103
7.5　參數(shù)初始化 103
7.5.1　正向傳播的初始化 104
7.5.2　反向傳播的初始化 106
7.5.3　正向和反向傳播的初始化 106
7.6　訓(xùn)練代碼示例 107
7.7　本章小結(jié) 108
7.8　注釋 108
7.9　問(wèn)題 110
第8章　性能評(píng)估 114
8.1　訓(xùn)練簡(jiǎn)單模型 114
8.2　誤差來(lái)源 116
8.2.1　噪聲、偏差和方差 117
8.2.2　測(cè)試誤差的數(shù)學(xué)表達(dá) 118
8.3　降低誤差 120
8.3.1　降低方差 120
8.3.2　降低偏差 122
8.3.3　偏差-方差權(quán)衡 122
8.4　選擇超參數(shù) 127
8.5　本章小結(jié) 128
8.6　注釋 128
8.7　問(wèn)題 131
第9章　正則化 133
9.1　顯式正則化 133
9.1.1　概率解釋 134
9.1.2　L2正則化 134
9.2　隱式正則化 136
9.2.1　梯度下降法中的隱式正則化 136
9.2.2　隨機(jī)梯度下降法中的隱式正則化 137
9.3　提高性能的啟發(fā)式算法 139
9.3.1　提前停止 139
9.3.2　集成學(xué)習(xí) 140
9.3.3　隨機(jī)丟棄 141
9.3.4　添加噪聲 143
9.3.5　貝葉斯推理 144
9.3.6　遷移學(xué)習(xí)和多任務(wù)學(xué)習(xí) 145
9.3.7　自監(jiān)督學(xué)習(xí) 146
9.3.8　數(shù)據(jù)增廣 146
9.4　本章小結(jié) 147
9.5　注釋 148
9.6　問(wèn)題 154
第10章　卷積網(wǎng)絡(luò) 155
10.1　不變性和等變性 156
10.2　用于一維輸入的卷積網(wǎng)絡(luò) 157
10.2.1　一維卷積操作 157
10.2.2　填充 157
10.2.3　步長(zhǎng)、核大小和膨脹率 158
10.2.4　卷積層 159
10.2.5　通道 160
10.2.6　卷積網(wǎng)絡(luò)和感受野 160
10.2.7　示例：MNIST-1D 161
10.3　二維輸入的卷積網(wǎng)絡(luò) 163
10.4　下采樣和上采樣 165
10.4.1　下采樣 165
10.4.2　上采樣 165
10.4.3　更改通道數(shù)量 166
10.5　應(yīng)用 167
10.5.1　圖像分類(lèi) 167
10.5.2　目標(biāo)檢測(cè) 169
10.5.3　語(yǔ)義分割 170
10.6　本章小結(jié) 172
10.7　注釋 172
10.8　問(wèn)題 176
第11章　殘差網(wǎng)絡(luò) 178
11.1　順序處理 178
11.2　殘差連接和殘差塊 180
11.2.1　殘差塊中的操作順序 182
11.2.2　帶有殘差連接的更深層網(wǎng)絡(luò) 182
11.3　殘差網(wǎng)絡(luò)中的梯度爆炸 183
11.4　批量歸一化 184
11.5　常見(jiàn)的殘差架構(gòu) 185
11.5.1　ResNet 185
11.5.2　DenseNet 187
11.5.3　U-Net和沙漏網(wǎng)絡(luò) 188
11.6　為什么具有殘差連接的網(wǎng)絡(luò)表現(xiàn)如此出色？ 190
11.7　本章小結(jié) 190
11.8　注釋 191
11.9　問(wèn)題 195
第12章　變換器 197
12.1　處理文本數(shù)據(jù) 197
12.2　點(diǎn)積自注意力 198
12.2.1　計(jì)算和加權(quán)值 199
12.2.2　計(jì)算注意力權(quán)重 200
12.2.3　自注意力總結(jié) 201
12.2.4　矩陣形式 202
12.3　點(diǎn)積自注意力的擴(kuò)展 203
12.3.1　位置編碼 203
12.3.2　縮放點(diǎn)積自注意力 204
12.3.3　多頭 204
12.4　變換器 205
12.5　自然語(yǔ)言處理中的變換器 206
12.5.1　分詞 206
12.5.2　嵌入 207
12.5.3　變換器模型 208
12.6　編碼器模型示例：BERT 208
12.6.1　預(yù)訓(xùn)練 209
12.6.2　微調(diào) 209
12.7　解碼器模型示例：GPT-3 211
12.7.1　語(yǔ)言建模 211
12.7.2　掩碼自注意力 211
12.7.3　從解碼器生成文本 212
12.7.4　GPT-3與少樣本學(xué)習(xí) 213
12.8　編碼器-解碼器模型示例：機(jī)器翻譯 214
12.9　用于長(zhǎng)序列的變換器 216
12.10　圖像的變換器 217
12.10.1　ImageGPT 218
12.10.2　視覺(jué)變換器(ViT) 219
12.10.3　多尺度視覺(jué)變換器 219
12.11　本章小結(jié) 220
12.12　注釋 221
12.13　問(wèn)題 228
第13章　圖神經(jīng)網(wǎng)絡(luò) 230
13.1　什么是圖 230
13.2　圖的表示 233
13.2.1　鄰接矩陣的屬性 233
13.2.2　節(jié)點(diǎn)索引的排列 234
13.3　圖神經(jīng)網(wǎng)絡(luò)、任務(wù)和損失函數(shù) 235
13.4　圖卷積網(wǎng)絡(luò) 237
13.4.1　等變性和不變性 238
13.4.2　參數(shù)共享 238
13.4.3　GCN層示例 239
13.5　示例：圖分類(lèi) 240
13.6　歸納模型與演繹模型 241
13.7　示例：節(jié)點(diǎn)分類(lèi) 242
13.8　圖卷積網(wǎng)絡(luò)的層 245
13.8.1　結(jié)合當(dāng)前節(jié)點(diǎn)和聚合鄰居 245
13.8.2　殘差連接 245
13.8.3　平均聚合 246
13.8.4　Kipf歸一化 246
13.8.5　最大池化聚合 246
13.8.6　注意力聚合 246
13.9　邊圖 248
13.10　本章小結(jié) 249
13.11　注釋 249
13.12　問(wèn)題 254
第14章　無(wú)監(jiān)督學(xué)習(xí) 257
14.1　無(wú)監(jiān)督學(xué)習(xí)模型分類(lèi) 257
14.2　什么是好的生成模型？ 259
14.3　量化評(píng)估指標(biāo) 260
14.4　本章小結(jié) 263
14.5　注釋 263
第15章　生成式對(duì)抗網(wǎng)絡(luò) 264
15.1　判別作為信號(hào) 264
15.1.1　GAN 損失函數(shù) 265
15.1.2　訓(xùn)練 GAN 266
15.1.3　DCGAN 267
15.1.4　GAN訓(xùn)練的難點(diǎn) 268
15.2　提高穩(wěn)定性 269
15.2.1　GAN 損失函數(shù)分析 269
15.2.2　梯度消失 270
15.2.3　Wasserstein距離 271
15.2.4　離散分布的Wasserstein距離 271
15.2.5　連續(xù)分布的Wasserstein距離 273
15.2.6　Wasserstein GAN損失函數(shù) 273
15.3　提升生成圖像質(zhì)量的方法 274
15.4　條件生成 276
15.4.1　cGAN 276
15.4.2　ACGAN 277
15.4.3　InfoGAN 278
15.5　圖像翻譯 279
15.5.1　Pix2Pix 279
15.5.2　對(duì)抗性損失 279
15.5.3　CycleGAN 281
15.6　StyleGAN 282
15.7　本章小結(jié) 284
15.8　注釋 285
15.9　問(wèn)題 288
第16章　標(biāo)準(zhǔn)化流 290
16.1　一維示例 290
16.1.1　計(jì)算概率 291
16.1.2　正向和反向映射 292
16.1.3　學(xué)習(xí) 292
16.2　一般情況 293
16.2.1　基于深度神經(jīng)網(wǎng)絡(luò)的正向映射 293
16.2.2　對(duì)網(wǎng)絡(luò)層的要求 294
16.3　可逆網(wǎng)絡(luò)層 295
16.3.1　線性流 295
16.3.2　逐元素流 296
16.3.3　耦合流 297
16.3.4　自回歸流 298
16.3.5　反向自回歸流 299
16.3.6　殘差流：iRevNet 300
16.3.7　殘差流和收縮映射：iResNet 301
16.4　多尺度流 302
16.5　應(yīng)用 303
16.5.1　密度建模 303
16.5.2　圖像合成 304
16.5.3　近似其他密度模型 305
16.6　本章小結(jié) 306
16.7　注釋 307
16.8　問(wèn)題 310
第17章　變分自編碼器 312
17.1　隱變量模型 312
17.2　非線性隱變量模型 314
17.3　訓(xùn)練 315
17.3.1　證據(jù)下界 (ELBO) 315
17.3.2　Jensen 不等式 316
17.3.3　推導(dǎo)下界 317
17.4　ELBO 的性質(zhì) 318
17.4.1　下界的緊密性 318
17.4.2　ELBO的第三種表示方式 319
17.5　變分近似 320
17.6　變分自編碼器 320
17.7　重參數(shù)化技巧 323
17.8　應(yīng)用 323
17.8.1　估計(jì)樣本概率 323
17.8.2　生成 324
17.8.3　重合成 325
17.8.4　解耦 326
17.9　本章小結(jié) 327
17.10　注釋 328
17.11　問(wèn)題 331
第18章　擴(kuò)散模型 333
18.1　概述 333
18.2　編碼器(前向過(guò)程) 334
18.2.1　擴(kuò)散核 335
18.2.2　邊緣分布 337
18.2.3　條件分布 338
18.2.4　條件擴(kuò)散分布 338
18.3　解碼器模型(反向過(guò)程) 340
18.4　訓(xùn)練 340
18.4.1　證據(jù)下界 (ELBO) 341
18.4.2　簡(jiǎn)化 ELBO 341
18.4.3　分析ELBO 342
18.4.4　擴(kuò)散損失函數(shù) 343
18.4.5　訓(xùn)練過(guò)程 343
18.5　損失函數(shù)的重參數(shù)化 344
18.5.1　目標(biāo)值的參數(shù)化 345
18.5.2　網(wǎng)絡(luò)的重參數(shù)化 346
18.6　實(shí)現(xiàn) 347
18.6.1　應(yīng)用于圖像 347
18.6.2　提高生成速度 348
18.6.3　條件生成 349
18.6.4　提高生成質(zhì)量 350
18.7　本章小結(jié) 352
18.8　注釋 352
18.9　問(wèn)題 355
第19章　強(qiáng)化學(xué)習(xí) 357
19.1　馬爾可夫決策過(guò)程、回報(bào)和策略 357
19.1.1　馬爾可夫過(guò)程 358
19.1.2　馬爾可夫獎(jiǎng)勵(lì)過(guò)程 358
19.1.3　馬爾可夫決策過(guò)程 359
19.1.4　部分可觀測(cè)馬爾可夫決策過(guò)程 359
19.1.5　策略 360
19.2　預(yù)期回報(bào) 361
19.2.1　狀態(tài)和動(dòng)作價(jià)值 362
19.2.2　最優(yōu)策略 363
19.2.3　貝爾曼式 363
19.3　表格型強(qiáng)化學(xué)習(xí) 365
19.3.1　動(dòng)態(tài)規(guī)劃 365
19.3.2　蒙特卡羅方法 366
19.3.3　時(shí)間差分方法 367
19.4　擬合Q學(xué)習(xí) 368
19.4.1　用于玩ATARI游戲的深度Q網(wǎng)絡(luò) 369
19.4.2　雙Q學(xué)習(xí)和雙深度Q網(wǎng)絡(luò) 370
19.5　策略梯度方法 371
19.5.1　梯度更新的推導(dǎo) 372
19.5.2　REINFORCE算法 374
19.5.3　基線 374
19.5.4　狀態(tài)依賴的基線 375
19.6　演員-評(píng)論家方法 376
19.7　離線強(qiáng)化學(xué)習(xí) 377
19.8　本章小結(jié) 378
19.9　注釋 378
19.10　問(wèn)題 382
第20章　為什么深度網(wǎng)絡(luò)有效 385
20.1　質(zhì)疑深度學(xué)習(xí)的案例 385
20.1.1　訓(xùn)練 385
20.1.2　泛化 386
20.1.3　看似不合理的有效性 386
20.2　影響擬合性能的因素 387
20.2.1　數(shù)據(jù)集 387
20.2.2　正則化 387
20.2.3　隨機(jī)訓(xùn)練算法 388
20.2.4　過(guò)度參數(shù)化 388
20.2.5　激活函數(shù) 389
20.2.6　初始化 390
20.2.7　網(wǎng)絡(luò)深度 390
20.3　損失函數(shù)的性質(zhì) 391
20.3.1　多個(gè)全局最小值 391
20.3.2　到達(dá)最小值的路徑 391
20.3.3　最小值之間的聯(lián)系 392
20.3.4　損失面的曲率 393
20.4　決定泛化的因素 394
20.4.1　訓(xùn)練算法 394
20.4.2　最小值的平坦度 395
20.4.3　架構(gòu) 396
20.4.4　權(quán)重的范數(shù) 396
20.4.5　過(guò)度參數(shù)化 397
20.4.6　離開(kāi)數(shù)據(jù)流形 397
20.5　我們需要這么多參數(shù)嗎 398
20.5.1　剪枝 399
20.5.2　知識(shí)蒸餾 400
20.5.3　討論 400
20.6　網(wǎng)絡(luò)必須很深嗎？ 401
20.6.1　建模函數(shù)的復(fù)雜性 401
20.6.2　訓(xùn)練的可行性 402
20.6.3　歸納偏差 402
20.7　本章小結(jié) 402
20.8　問(wèn)題 403
第21章　深度學(xué)習(xí)和倫理 404
21.1　價(jià)值一致性 405
21.1.1　偏見(jiàn)與公平性 406
21.1.2　人工道德代理 408
21.1.3　透明度與不透明度 409
21.1.4　可解釋性 409
21.2　故意濫用 410
21.2.1　面部識(shí)別和分析 410
21.2.2　軍事化和政治干預(yù) 410
21.2.3　欺詐 411
21.2.4　數(shù)據(jù)隱私 411
21.3　其他社會(huì)、倫理和專(zhuān)業(yè)問(wèn)題 412
21.3.1　知識(shí)產(chǎn)權(quán) 412
21.3.2　自動(dòng)化偏見(jiàn)和道德技能退化 412
21.3.3　環(huán)境影響 413
21.3.4　就業(yè)和社會(huì) 413
21.3.5　權(quán)力集中 413
21.4　案例研究 414
21.5　科學(xué)的價(jià)值中立理想 414
21.6　負(fù)責(zé)任的人工智能研究作為集體行動(dòng)問(wèn)題 415
21.6.1　科學(xué)溝通 416
21.6.2　多樣性和異質(zhì)性 416
21.7　未來(lái)的方向 416
21.8　本章小結(jié) 417
21.9　問(wèn)題 418
附錄A　符號(hào)表示 420
附錄B　數(shù)學(xué) 423
附錄C　概率 432