深度學習框架中蘊藏著驚人的技術和有趣的機制，本書旨在揭開這些技術和機制的神秘面紗，幫助讀者正確理解技術，體會它們的有趣之處。為此，本書會帶領讀者從零開始創(chuàng)建一個深度學習框架DeZero。DeZero 是本書原創(chuàng)的框架，它用最少的代碼實現了現代深度學習框架的功能。本書分60 個步驟來完成這個框架，在此過程中，讀者會加深對PyTorch、TensorFlow 和Chainer 等現代深度學習框架的理解，看清深度學習框架的本質。
本書沿襲《深度學習入門：基于Python 的理論與實現》的風格，語言通俗，代碼簡潔，講解詳細。在自制框架的過程中，讀者還能進一步鞏固Python 編程和軟件開發(fā)相關的知識。
本書適合對深度學習框架感興趣的讀者閱讀。
·魚書《深度學習入門：基于Python的理論與實現》作者又一力作。手把手帶你創(chuàng)建深度學習框架，直擊現代深度學習框架本質！
·內容簡明易懂，講解詳細
本書延續(xù)前作的行文風格，采用通俗的語言和大量直觀的示意圖詳細講解，幫助讀者加深對PyTorch、TensorFlow和Chainer等現代深度學習框架的理解，進一步鞏固Python編程和軟件開發(fā)的相關知識。
·通過從零創(chuàng)建，剖析深度學習框架機制
本書會從零創(chuàng)建一個深度學習框架，讓讀者在運行程序的過程中了解深度學習框架中蘊藏的技術與機制。通過這樣的體驗，讀者可了解到深度學習框架的本質。
·增量開發(fā)
本書將繁雜的深度學習框架的創(chuàng)建工作分為60個步驟完成，內容循序漸進，讀者可在一步步的實踐過程中獲得正向的反饋結果，激發(fā)學習動力。
齋藤康毅（作者） 1984年生于日本長崎縣，東京工業(yè)大學畢業(yè)，并完成東京大學研究生院課程。目前在某企業(yè)從事人工智能相關的研究和開發(fā)工作。著有《深度學習入門：基于Python的理論與實現》，同時也是Introducing Python、Python in Practice、The Elements of Computing Systems、Building Machine Learning Systems with Python的日文版譯者。 鄭明智（譯者） 智慧醫(yī)療工程師。主要研究方向為醫(yī)療與前沿ICT技術的結合及其應用，密切關注人工智能、量子計算等領域。譯有《深度學習基礎與實踐》《詳解深度學習》《白話機器學習的數學》等書。
前言 xvii
第 1階段 自動微分 1
步驟1 作為箱子的變量 3
1.1 什么是變量 3
1.2 實現Variable 類 4
1.3 （補充）NumPy的多維數組 6
步驟2 創(chuàng)建變量的函數 8
2.1 什么是函數 8
2.2 Function類的實現 9
2.3 使用Function 類 10
步驟3 函數的連續(xù)調用 13
3.1 Exp函數的實現 13
3.2 函數的連續(xù)調用 14
步驟4 數值微分 16
4.1 什么是導數 16
4.2 數值微分的實現 17
4.3 復合函數的導數 20
4.4 數值微分存在的問題 21
步驟5 反向傳播的理論知識 22
5.1 鏈式法則 22
5.2 反向傳播的推導 23
5.3 用計算圖表示 25
步驟6 手動進行反向傳播 27
6.1 Variable 類的功能擴展 27
6.2 Function類的功能擴展 28
6.3 Square類和Exp類的功能擴展 28
6.4 反向傳播的實現 29
步驟7 反向傳播的自動化 32
7.1 為反向傳播的自動化創(chuàng)造條件 33
7.2 嘗試反向傳播 36
7.3 增加backward方法 38
步驟8 從遞歸到循環(huán) 40
8.1 現在的Variable 類 40
8.2 使用循環(huán)實現 41
8.3 代碼驗證 42
步驟9 讓函數更易用 43
9.1 作為Python函數使用 43
9.2 簡化backward方法 45
9.3 只支持ndarray 46
步驟10 測試 50
10.1 Python的單元測試 50
10.2 square函數反向傳播的測試 52
10.3 通過梯度檢驗來自動測試 53
10.4 測試小結 54
第 2階段 用自然的代碼表達 59
步驟11 可變長參數（正向傳播篇) 61
11.1 修改Function 類 62
11.2 Add類的實現 64
步驟12 可變長參數（改進篇) 65
12.1 第 1 項改進：使函數更容易使用 65
12.2 第 2 項改進：使函數更容易實現 67
12.3 add函數的實現 69
步驟13 可變長參數（反向傳播篇) 70
13.1 支持可變長參數的Add類的反向傳播 70
13.2 修改Variable 類 71
13.3 Square類的實現 73
步驟14 重復使用同一個變量 75
14.1 問題的原因 76
14.2 解決方案 77
14.3 重置導數 79
步驟15 復雜的計算圖（理論篇） 81
15.1 反向傳播的正確順序 82
15.2 當前的DeZero 84
15.3 函數的優(yōu)先級 87
步驟16 復雜的計算圖（實現篇） 88
16.1 增加輩分變量 88
16.2 按照輩分順序取出元素 90
16.3 Variable 類的backward 92
16.4 代碼驗證 93
步驟17 內存管理和循環(huán)引用 97
17.1 內存管理 97
17.2 引用計數方式的內存管理 98
17.3 循環(huán)引用 100
17.4 weakref模塊 102
17.5 代碼驗證 104
步驟18 減少內存使用量的模式 106
18.1 不保留不必要的導數 106
18.2 回顧Function 類 109
18.3 使用Config類進行切換 110
18.4 模式的切換 111
18.5 使用with 語句切換 112
步驟19 讓變量更易用 116
19.1 命名變量 116
19.2 實例變量ndarray 117
19.3 len函數和print 函數 119
步驟20 運算符重載（1） 122
20.1 Mul類的實現 122
20.2 運算符重載 125
步驟21 運算符重載（2） 128
21.1 與ndarray 一起使用 128
21.2 與float 和int 一起使用 130
21.3 問題1：左項為float 或int 的情況 131
21.4 問題2：左項為ndarray 實例的情況 133
步驟22 運算符重載（3） 134
22.1 負數 135
22.2 減法 136
22.3 除法 138
22.4 冪運算 139
步驟23 打包 141
23.1 文件結構 142
23.2 將代碼移到核心類 142
23.3 運算符重載 144
23.4 實際的_ _init_ _.py 文件 146
23.5 導入dezero 147
步驟24 復雜函數的求導 149
24.1 Sphere函數 150
24.2 matyas函數 151
24.3 Goldstein Price 函數 152
第3階段 實現高階導數 161
步驟25 計算圖的可視化（1） 163
25.1 安裝Graphviz 163
25.2 使用DOT語言描述圖形 165
25.3 指定節(jié)點屬性 165
25.4 連接節(jié)點 167
步驟26 計算圖的可視化（2） 169
26.1 可視化代碼的使用示例 169
26.2 從計算圖轉換為DOT語言 171
26.3 從DOT語言轉換為圖像 174
26.4 代碼驗證 176
步驟27 泰勒展開的導數 178
27.1 sin函數的實現 178
27.2 泰勒展開的理論知識 179
27.3 泰勒展開的實現 180
27.4 計算圖的可視化 182
步驟28 函數優(yōu)化 184
28.1 Rosenbrock函數 184
28.2 求導 185
28.3 梯度下降法的實現 186
步驟29 使用牛頓法進行優(yōu)化（手動計算） 190
29.1 使用牛頓法進行優(yōu)化的理論知識 191
29.2 使用牛頓法實現優(yōu)化 195
步驟30 高階導數（準備篇） 197
30.1 確認工作①：Variable 實例變量 197
30.2 確認工作②：Function 類 199
30.3 確認工作③：Variable 類的反向傳播 201
步驟31 高階導數（理論篇） 204
31.1 在反向傳播時進行的計算 204
31.2 創(chuàng)建反向傳播的計算圖的方法 206
步驟32 高階導數（實現篇） 209
32.1 新的DeZero 209
32.2 函數類的反向傳播 210
32.3 實現更有效的反向傳播（增加模式控制代碼） 211
32.4 修改_ _init_ _.py 213
步驟33 使用牛頓法進行優(yōu)化（自動計算） 215
33.1 求二階導數 215
33.2 使用牛頓法進行優(yōu)化 217
步驟34 sin函數的高階導數 219
34.1 sin函數的實現 219
34.2 cos函數的實現 220
34.3 sin函數的高階導數 221
步驟35 高階導數的計算圖 225
35.1 tanh函數的導數 226
35.2 tanh函數的實現 226
35.3 高階導數的計算圖可視化 227
步驟36 DeZero的其他用途 234
36.1 double backprop 的用途 234
36.2 深度學習研究中的應用示例 236
第4階段 創(chuàng)建神經網絡 243
步驟37 處理張量 245
37.1 對各元素進行計算 245
37.2 使用張量時的反向傳播 247
37.3 使用張量時的反向傳播（補充內容） 249
步驟38 改變形狀的函數 254
38.1 reshape函數的實現 254
38.2 從Variable 對象調用reshape 258
38.3 矩陣的轉置 259
38.4 實際的transpose 函數（補充內容） 262
步驟39 求和的函數 264
39.1 sum函數的反向傳播 264
39.2 sum函數的實現 266
39.3 axis 和keepdims 268
步驟40 進行廣播的函數 272
40.1 broadcast_to 函數和sum_to 函數 272
40.2 DeZero的broadcast_to 函數和sum_to 函數 275
40.3 支持廣播 277
步驟41 矩陣的乘積 280
41.1 向量的內積和矩陣的乘積 280
41.2 檢查矩陣的形狀 282
41.3 矩陣乘積的反向傳播 282
步驟42 線性回歸 288
42.1 玩具數據集 288
42.2 線性回歸的理論知識 289
42.3 線性回歸的實現 291
42.4 DeZero的mean_squared_error函數（補充內容） 295
步驟43 神經網絡 298
43.1 DeZero中的linear 函數 298
43.2 非線性數據集 301
43.3 激活函數和神經網絡 302
43.4 神經網絡的實現 303
步驟44 匯總參數的層 307
44.1 Parameter類的實現 307
44.2 Layer類的實現 309
44.3 Linear類的實現 312
44.4 使用Layer實現神經網絡 314
步驟45 匯總層的層 316
45.1 擴展Layer類 316
45.2 Model類 319
45.3 使用Model來解決問題 321
45.4 MLP類 323
步驟46 通過Optimizer更新參數 325
46.1 Optimizer類 325
46.2 SGD類的實現 326
46.3 使用SGD類來解決問題 327
46.4 SGD以外的優(yōu)化方法 328
步驟47 softmax函數和交叉熵誤差 331
47.1 用于切片操作的函數 331
47.2 softmax函數 334
47.3 交叉熵誤差 337
步驟48 多分類 340
48.1 螺旋數據集 340
48.2 用于訓練的代碼 341
步驟49 Dataset類和預處理 346
49.1 Dataset類的實現 346
49.2 大型數據集的情況 348
49.3 數據的連接 349
49.4 用于訓練的代碼 350
49.5 數據集的預處理 351
步驟50 用于取出小批量數據的DataLoader 354
50.1 什么是迭代器 354
50.2 使用DataLoader 358
50.3 accuracy函數的實現 359
50.4 螺旋數據集的訓練代碼 360
步驟51 MINST的訓練 363
51.1 MNIST數據集 364
51.2 訓練MNIST 366
51.3 改進模型 368
第5階段 DeZero高級挑戰(zhàn) 377
步驟52 支持GPU 379
52.1 CuPy的安裝和使用方法 379
52.2 cuda模塊 382
52.3 向Variable / Layer / DataLoader 類添加代碼 383
52.4 函數的相應修改 386
52.5 在GPU上訓練MNIST 388
步驟53 模型的保存和加載 391
53.1 NumPy的save 函數和load 函數 391
53.2 Layer類參數的扁平化 394
53.3 Layer類的save 函數和load 函數 395
步驟54 Dropout和測試模式 398
54.1 什么是Dropout 398
54.2 Inverted Dropout 401
54.3 增加測試模式 401
54.4 Dropout的實現 402
步驟55 CNN的機制（1） 404
55.1 CNN的網絡結構 404
55.2 卷積運算 405
55.3 填充 407
55.4 步幅 408
55.5 輸出大小的計算方法 409
步驟56 CNN的機制（2） 411
56.1 三階張量 411
56.2 結合方塊進行思考 412
56.3 小批量處理 414
56.4 池化層 415
步驟57 conv2d函數和pooling函數 418
57.1 使用im2col 展開 418
57.2 conv2d函數的實現 420
57.3 Conv2d層的實現 425
57.4 pooling 函數的實現 426
步驟58 具有代表性的CNN（VGG16） 429
58.1 VGG16的實現 429
58.2 已訓練的權重數據 431
58.3 使用已訓練的VGG16 435
步驟59 使用RNN處理時間序列數據 438
59.1 RNN層的實現 438
59.2 RNN模型的實現 442
59.3 切斷連接的方法 445
59.4 正弦波的預測 446
步驟60 LSTM與數據加載器 451
60.1 用于時間序列數據的數據加載器 451
60.2 LSTM層的實現 453
附錄A in place 運算（步驟14的補充內容） 463
A.1 問題確認 463
A.2 關于復制和覆蓋 464
A.3 DeZero的反向傳播 465
附錄B 實現get_item函數（步驟47的補充內容） 466
附錄C 在Google Colaboratory上運行 469
后 記 473
參考文獻 477
書單推薦
