第1章深度學(xué)習(xí)簡(jiǎn)介

1.1深度學(xué)習(xí)的發(fā)展階段

1.1.1早期理論的發(fā)展

1.1.2人工智能的萌芽

1.1.3反向傳播算法的發(fā)展

1.1.4卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展

1.1.5循環(huán)神經(jīng)網(wǎng)絡(luò)的發(fā)展

1.1.6自然語(yǔ)言處理的發(fā)展

1.2深度學(xué)習(xí)中的關(guān)鍵人物

1.3深度學(xué)習(xí)框架介紹

1.3.1深度學(xué)習(xí)框架的出現(xiàn)

1.3.2深度學(xué)習(xí)框架的歷史

1.4本書的體系結(jié)構(gòu)

1.4.1面向的讀者

1.4.2內(nèi)容與結(jié)構(gòu)

1.4.3代碼及資源

第2章環(huán)境配置

2.1體系結(jié)構(gòu)介紹

2.1.1基礎(chǔ)軟硬件設(shè)施

2.1.2版本依賴關(guān)系

2.1.3Conda工具介紹

2.1.4安裝源介紹

2.1.5小結(jié)

2.2深度學(xué)習(xí)環(huán)境安裝

2.2.1在Windows環(huán)境下

2.2.2在Linux環(huán)境下

2.2.3實(shí)戰(zhàn)示例

2.2.4GPU租用

2.2.5小結(jié)

2.3開(kāi)發(fā)環(huán)境安裝配置

2.3.1Jupyter Notebook安裝與使用

2.3.2PyCharm安裝與使用

2.3.3遠(yuǎn)程連接使用

2.3.4小結(jié)

第3章深度學(xué)習(xí)基礎(chǔ)

3.1線性回歸

3.1.1理解線性回歸模型

3.1.2建立線性回歸模型

3.1.3求解線性回歸模型

3.1.4多項(xiàng)式回歸建模

3.1.5從特征輸入到特征提取

3.1.6從線性輸入到非線性變換

3.1.7單層神經(jīng)網(wǎng)絡(luò)

3.1.8深度神經(jīng)網(wǎng)絡(luò)

3.1.9小結(jié)

3.2線性回歸的簡(jiǎn)捷實(shí)現(xiàn)

3.2.1PyTorch使用介紹

3.2.2房?jī)r(jià)預(yù)測(cè)實(shí)現(xiàn)

3.2.3梯形面積預(yù)測(cè)實(shí)現(xiàn)

3.2.4小結(jié)

3.3梯度下降與反向傳播

3.3.1梯度下降引例

3.3.2方向?qū)��?shù)與梯度

3.3.3梯度下降原理

3.3.4前向傳播過(guò)程

3.3.5傳統(tǒng)方式梯度求解

3.3.6反向傳播過(guò)程

3.3.7梯度消失和梯度爆炸

3.3.8小結(jié)

3.4從零實(shí)現(xiàn)回歸模型

3.4.1網(wǎng)絡(luò)結(jié)構(gòu)

3.4.2模型實(shí)現(xiàn)

3.4.3小結(jié)

3.5從邏輯回歸到Softmax回歸

3.5.1理解邏輯回歸模型

3.5.2建立邏輯回歸模型

3.5.3求解邏輯回歸模型

3.5.4從二分類到多分類

3.5.5Softmax回歸

3.5.6特征的意義

3.5.7從具體到抽象

3.5.8從淺層到深層

3.5.9小結(jié)

3.6Softmax回歸的簡(jiǎn)捷實(shí)現(xiàn)

3.6.1PyTorch使用介紹

3.6.2手寫體分類實(shí)現(xiàn)

3.6.3小結(jié)

3.7從零實(shí)現(xiàn)分類模型

3.7.1網(wǎng)絡(luò)結(jié)構(gòu)

3.7.2模型實(shí)現(xiàn)

3.7.3小結(jié)

3.8回歸模型評(píng)估指標(biāo)

3.8.1常見(jiàn)回歸評(píng)估指標(biāo)

3.8.2回歸指標(biāo)示例代碼

3.8.3小結(jié)

3.9分類模型評(píng)估指標(biāo)

3.9.1準(zhǔn)確率

3.9.2精確率與召回率計(jì)算

3.9.3準(zhǔn)確率與召回率的區(qū)別

3.9.4多分類下的指標(biāo)計(jì)算

3.9.5Top�睰準(zhǔn)確率

3.9.6小結(jié)

3.10過(guò)擬合與正則化

3.10.1模型擬合

3.10.2過(guò)擬合與欠擬合概念

3.10.3解決欠擬合與過(guò)擬合問(wèn)題

3.10.4泛化誤差的來(lái)源

3.10.5測(cè)試集導(dǎo)致的泛化誤差

3.10.6訓(xùn)練集導(dǎo)致的泛化誤差

3.10.7��2正則化原理

3.10.8��2正則化中的參數(shù)更新

3.10.9��2正則化示例代碼

3.10.10��1正則化原理

3.10.11��1與��2正則化差異

3.10.12丟棄法

3.10.13小結(jié)

3.11超參數(shù)與交叉驗(yàn)證

3.11.1超參數(shù)介紹

3.11.2模型選擇

3.11.3基于交叉驗(yàn)證的手寫體分類

3.11.4小結(jié)

3.12激活函數(shù)

3.12.1Sigmoid激活函數(shù)

3.12.2Tanh激活函數(shù)

3.12.3ReLU激活函數(shù)

3.12.4LeakyReLU激活函數(shù)

3.12.5小結(jié)

3.13多標(biāo)簽分類

3.13.1Sigmoid損失

3.13.2交叉熵?fù)p失

3.13.3不考慮部分正確的評(píng)估指標(biāo)

3.13.4考慮部分正確的評(píng)估指標(biāo)

3.13.5小結(jié)

第4章卷積神經(jīng)網(wǎng)絡(luò)

4.1卷積的概念

4.1.1深度學(xué)習(xí)的思想

4.1.2卷積操作的作用

4.1.3卷積操作的原理

4.1.4小結(jié)

4.2卷積的計(jì)算過(guò)程

4.2.1多卷積核

4.2.2卷積的計(jì)算過(guò)程

4.2.3深度卷積

4.2.4小結(jié)

4.3填充和池化

4.3.1填充操作

4.3.2形狀計(jì)算

4.3.3卷積示例代碼

4.3.4池化操作

4.3.5池化的作用

4.3.6池化示例代碼

4.3.7小結(jié)

4.4LeNet5網(wǎng)絡(luò)

4.4.1LeNet5動(dòng)機(jī)

4.4.2LeNet5結(jié)構(gòu)

4.4.3LeNet5實(shí)現(xiàn)

4.4.4小結(jié)

4.5AlexNet網(wǎng)絡(luò)

4.5.1AlexNet動(dòng)機(jī)

4.5.2AlexNet結(jié)構(gòu)

4.5.3AlexNet實(shí)現(xiàn)

4.5.4小結(jié)

4.6VGG網(wǎng)絡(luò)

4.6.1VGG動(dòng)機(jī)

4.6.2VGG結(jié)構(gòu)

4.6.3VGG實(shí)現(xiàn)

4.6.4小結(jié)

4.7NIN網(wǎng)絡(luò)

4.7.1NIN動(dòng)機(jī)

4.7.2NIN結(jié)構(gòu)

4.7.3NIN實(shí)現(xiàn)

4.7.4小結(jié)

4.8GoogLeNet網(wǎng)絡(luò)

4.8.1GoogLeNet動(dòng)機(jī)

4.8.2GoogLeNet結(jié)構(gòu)

4.8.3GoogLeNet實(shí)現(xiàn)

4.8.4小結(jié)

4.9ResNet網(wǎng)絡(luò)

4.9.1ResNet動(dòng)機(jī)

4.9.2ResNet結(jié)構(gòu)

4.9.3ResNet實(shí)現(xiàn)

4.9.4小結(jié)

4.10DenseNet網(wǎng)絡(luò)

4.10.1DenseNet動(dòng)機(jī)

4.10.2DenseNet結(jié)構(gòu)

4.10.3DenseNet實(shí)現(xiàn)

4.10.4小結(jié)

第5章模型訓(xùn)練與復(fù)用

5.1參數(shù)及日志管理

5.1.1參數(shù)傳遞

5.1.2參數(shù)載入

5.1.3定義日志函數(shù)

5.1.4日志輸出示例

5.1.5打印模型參數(shù)

5.1.6小結(jié)

5.2TensorBoard可視化

5.2.1安裝與啟動(dòng)

5.2.2連接與訪問(wèn)

5.2.3TensorBoard使用場(chǎng)景

5.2.4使用實(shí)例

5.2.5小結(jié)

5.3模型的保存與復(fù)用

5.3.1查看模型參數(shù)

5.3.2自定義參數(shù)前綴

5.3.3保存訓(xùn)練模型

5.3.4復(fù)用模型推理

5.3.5復(fù)用模型訓(xùn)練

5.3.6小結(jié)

5.4模型的遷移學(xué)習(xí)

5.4.1遷移學(xué)習(xí)

5.4.2模型定義與比較

5.4.3參數(shù)微調(diào)

5.4.4參數(shù)凍結(jié)

5.4.5小結(jié)

5.5開(kāi)源模型復(fù)用

5.5.1ResNet結(jié)構(gòu)介紹

5.5.2遷移模型構(gòu)造

5.5.3結(jié)果對(duì)比

5.5.4小結(jié)

5.6多GPU訓(xùn)練

5.6.1訓(xùn)練方式

5.6.2數(shù)據(jù)并行

5.6.3使用示例

5.6.4小結(jié)

5.7數(shù)據(jù)預(yù)處理緩存

5.7.1修飾器介紹

5.7.2修飾器定義

5.7.3定義數(shù)據(jù)集構(gòu)造類

5.7.4定義緩存修飾器

5.7.5小結(jié)

第6章模型優(yōu)化方法

6.1學(xué)習(xí)率調(diào)度器

6.1.1使用示例

6.1.2實(shí)現(xiàn)原理

6.1.3狀態(tài)恢復(fù)

6.1.4小結(jié)

6.2梯度裁剪

6.2.1基于閾值裁剪

6.2.2基于范數(shù)裁剪

6.2.3使用示例

6.2.4小結(jié)

6.3批歸一化

6.3.1批歸一化動(dòng)機(jī)

6.3.2批歸一化原理

6.3.3批歸一化實(shí)現(xiàn)

6.3.4小結(jié)

6.4層歸一化

6.4.1層歸一化動(dòng)機(jī)

6.4.2層歸一化原理

6.4.3層歸一化實(shí)現(xiàn)

6.4.4小結(jié)

6.5組歸一化

6.5.1組歸一化動(dòng)機(jī)

6.5.2組歸一化原理

6.5.3組歸一化實(shí)現(xiàn)

6.5.4小結(jié)

6.6動(dòng)量法

6.6.1動(dòng)量法動(dòng)機(jī)

6.6.2動(dòng)量法原理

6.6.3使用示例

6.6.4小結(jié)

6.7AdaGrad算法

6.7.1AdaGrad動(dòng)機(jī)

6.7.2AdaGrad原理

6.7.3使用示例

6.7.4小結(jié)

6.8AdaDelta算法

6.8.1AdaDelta動(dòng)機(jī)

6.8.2AdaDelta原理

6.8.3使用示例

6.8.4小結(jié)

6.9Adam算法

6.9.1Adam動(dòng)機(jī)

6.9.2Adam原理

6.9.3使用示例

6.9.4小結(jié)

6.10初始化方法

6.10.1初始化動(dòng)機(jī)

6.10.2初始化原理

6.10.3使用示例

6.10.4小結(jié)

第7章循環(huán)神經(jīng)網(wǎng)絡(luò)

7.1RNN

7.1.1RNN動(dòng)機(jī)

7.1.2RNN原理

7.1.3RNN計(jì)算示例

7.1.4RNN類型

7.1.5多層RNN

7.1.6RNN示例代碼

7.1.7BPTT原理

7.1.8小結(jié)

7.2時(shí)序數(shù)據(jù)

7.2.1時(shí)序圖片

7.2.2基于RNN的圖片分類

7.2.3時(shí)序文本

7.2.4基于RNN的文本分類

7.2.5小結(jié)

7.3LSTM網(wǎng)絡(luò)

7.3.1LSTM動(dòng)機(jī)

7.3.2LSTM結(jié)構(gòu)

7.3.3LSTM實(shí)現(xiàn)

7.3.4LSTM梯度分析

7.3.5小結(jié)

7.4GRU網(wǎng)絡(luò)

7.4.1GRU動(dòng)機(jī)

7.4.2GRU結(jié)構(gòu)

7.4.3GRU實(shí)現(xiàn)

7.4.4GRU與LSTM對(duì)比

7.4.5類RNN模型

7.4.6小結(jié)

7.5BiRNN網(wǎng)絡(luò)

7.5.1BiRNN動(dòng)機(jī)

7.5.2BiRNN結(jié)構(gòu)

7.5.3BiRNN實(shí)現(xiàn)

7.5.4小結(jié)

7.6CharRNN網(wǎng)絡(luò)

7.6.1任務(wù)構(gòu)造原理

7.6.2數(shù)據(jù)預(yù)處理

7.6.3古詩(shī)生成任務(wù)

7.6.4小結(jié)

第8章時(shí)序與模型融合

8.1TextCNN

8.1.1TextCNN結(jié)構(gòu)

8.1.2文本分詞

8.1.3TextCNN實(shí)現(xiàn)

8.1.4小結(jié)

8.2TextRNN

8.2.1TextRNN結(jié)構(gòu)

8.2.2TextRNN實(shí)現(xiàn)

8.2.3小結(jié)

8.3CNN�睷NN

8.3.1C�睱STM結(jié)構(gòu)

8.3.2C�睱STM實(shí)現(xiàn)

8.3.3BiLSTM�睠NN結(jié)構(gòu)

8.3.4BiLSTM�睠NN實(shí)現(xiàn)

8.3.5小結(jié)

8.4ConvLSTM網(wǎng)絡(luò)

8.4.1ConvLSTM動(dòng)機(jī)

8.4.2ConvLSTM結(jié)構(gòu)

8.4.3ConvLSTM實(shí)現(xiàn)

8.4.4KTH數(shù)據(jù)集構(gòu)建

8.4.5KTH動(dòng)作識(shí)別任務(wù)

8.4.6小結(jié)

8.53DCNN

8.5.13DCNN動(dòng)機(jī)

8.5.23DCNN結(jié)構(gòu)

8.5.33DCNN實(shí)現(xiàn)

8.5.4小結(jié)

8.6STResNet

8.6.1STResNet動(dòng)機(jī)

8.6.2任務(wù)背景

8.6.3STResNet結(jié)構(gòu)

8.6.4數(shù)據(jù)集構(gòu)建

8.6.5STResNet實(shí)現(xiàn)

8.6.6小結(jié)

第9章自然語(yǔ)言處理

9.1自然語(yǔ)言處理介紹

9.1.1語(yǔ)言模型

9.1.2基于規(guī)則的語(yǔ)言模型

9.1.3基于統(tǒng)計(jì)的語(yǔ)言模型

9.1.4基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型

9.1.5小結(jié)

9.2Word2Vec詞向量

9.2.1Word2Vec動(dòng)機(jī)

9.2.2Word2Vec模型

9.2.3連續(xù)詞袋模型

9.2.4跳元模型

9.2.5小結(jié)

9.3Word2Vec訓(xùn)練與使用

9.3.1近似訓(xùn)練

9.3.2載入預(yù)訓(xùn)練詞向量

9.3.3可視化與類別計(jì)算

9.3.4詞向量訓(xùn)練

9.3.5小結(jié)

9.4GloVe詞向量

9.4.1GloVe動(dòng)機(jī)

9.4.2共現(xiàn)矩陣

9.4.3GloVe原理

9.4.4GloVe詞向量使用

9.4.5小結(jié)

9.5詞向量的微調(diào)使用

9.5.1詞嵌入層介紹

9.5.2詞嵌入層使用

9.5.3多通道TextCNN網(wǎng)絡(luò)

9.5.4小結(jié)

9.6fastText網(wǎng)絡(luò)

9.6.1fastText動(dòng)機(jī)

9.6.2fastText原理

9.6.3fastText庫(kù)介紹

9.6.4詞向量的使用與訓(xùn)練

9.6.5fastText文本分類

9.6.6小結(jié)

9.7Seq2Seq網(wǎng)絡(luò)

9.7.1Seq2Seq動(dòng)機(jī)

9.7.2Seq2Seq結(jié)構(gòu)

9.7.3搜索策略

9.7.4小結(jié)

9.8序列模型評(píng)價(jià)指標(biāo)

9.8.1困惑度

9.8.2雙語(yǔ)評(píng)估輔助

9.8.3小結(jié)

9.9NMT網(wǎng)絡(luò)

9.9.1谷歌翻譯簡(jiǎn)介

9.9.2統(tǒng)計(jì)翻譯模型弊端

9.9.3NMT數(shù)據(jù)集構(gòu)建

9.9.4Seq2Seq實(shí)現(xiàn)

9.9.5NMT模型實(shí)現(xiàn)

9.9.6NMT推理實(shí)現(xiàn)

9.9.7NMT模型訓(xùn)練

9.9.8小結(jié)

9.10注意力機(jī)制

9.10.1注意力的起源

9.10.2注意力機(jī)制思想

9.10.3注意力計(jì)算框架

9.10.4填充注意力掩碼

9.10.5Bahdanau注意力

9.10.6Luong注意力

9.10.7小結(jié)

9.11含注意力的NMT網(wǎng)絡(luò)

9.11.1含注意力的NMT結(jié)構(gòu)

9.11.2含注意力的NMT實(shí)現(xiàn)

9.11.3模型訓(xùn)練

9.11.4小結(jié)

9.12含注意力的RNN

9.12.1含注意力的RNN結(jié)構(gòu)

9.12.2含注意力的RNN實(shí)現(xiàn)

9.12.3小結(jié)

第10章現(xiàn)代神經(jīng)網(wǎng)絡(luò)

10.1ELMo網(wǎng)絡(luò)

10.1.1ELMo動(dòng)機(jī)

10.1.2ELMo結(jié)構(gòu)

10.1.3ELMo實(shí)現(xiàn)

10.1.4ELMo遷移

10.1.5小結(jié)

10.2Transformer網(wǎng)絡(luò)

10.2.1Transformer動(dòng)機(jī)

10.2.2自注意力機(jī)制

10.2.3多頭注意力機(jī)制

10.2.4輸入編碼

10.2.5小結(jié)

10.3Transformer結(jié)構(gòu)

10.3.1單層Transformer結(jié)構(gòu)

10.3.2多層Transformer結(jié)構(gòu)

10.3.3多頭注意力實(shí)現(xiàn)

10.3.4小結(jié)

10.4Transformer實(shí)現(xiàn)

10.4.1嵌入層實(shí)現(xiàn)

10.4.2編碼器實(shí)現(xiàn)

10.4.3解碼器實(shí)現(xiàn)

10.4.4Transformer網(wǎng)絡(luò)實(shí)現(xiàn)

10.4.5小結(jié)

10.5Transformer對(duì)聯(lián)模型

10.5.1數(shù)據(jù)預(yù)處理

10.5.2網(wǎng)絡(luò)結(jié)構(gòu)

10.5.3模型訓(xùn)練

10.5.4模型推理

10.5.5小結(jié)

10.6BERT網(wǎng)絡(luò)

10.6.1BERT動(dòng)機(jī)

10.6.2BERT結(jié)構(gòu)

10.6.3BERT輸入層

10.6.4預(yù)訓(xùn)練任務(wù)

10.6.5小結(jié)

10.7從零實(shí)現(xiàn)BERT

10.7.1工程結(jié)構(gòu)

10.7.2Input Embedding實(shí)現(xiàn)

10.7.3BERT網(wǎng)絡(luò)實(shí)現(xiàn)

10.7.4小結(jié)

10.8BERT文本分類模型

10.8.1任務(wù)構(gòu)造原理

10.8.2數(shù)據(jù)預(yù)處理

10.8.3加載預(yù)訓(xùn)練模型

10.8.4文本分類

10.8.5小結(jié)

10.9BERT問(wèn)題選擇模型

10.9.1任務(wù)構(gòu)造原理

10.9.2數(shù)據(jù)預(yù)處理

10.9.3問(wèn)題選擇

10.9.4小結(jié)

10.10BERT問(wèn)題回答模型

10.10.1任務(wù)構(gòu)造原理

10.10.2樣本構(gòu)造與結(jié)果篩選

10.10.3數(shù)據(jù)預(yù)處理

10.10.4問(wèn)題回答

10.10.5小結(jié)

10.11BERT命名體識(shí)別模型

10.11.1任務(wù)構(gòu)造原理

10.11.2數(shù)據(jù)預(yù)處理

10.11.3命名體識(shí)別

10.11.4小結(jié)

10.12BERT從零訓(xùn)練

10.12.1構(gòu)建流程與格式化

10.12.2數(shù)據(jù)預(yù)處理

10.12.3預(yù)訓(xùn)練任務(wù)實(shí)現(xiàn)

10.12.4模型訓(xùn)練與微調(diào)

10.12.5小結(jié)

10.13GPT��1模型

10.13.1GPT��1動(dòng)機(jī)

10.13.2GPT��1結(jié)構(gòu)

10.13.3GPT��1實(shí)現(xiàn)

10.13.4小結(jié)

10.14GPT��2與GPT��3模型

10.14.1GPT��2動(dòng)機(jī)

10.14.2GPT��2結(jié)構(gòu)

10.14.3GPT��2使用

10.14.4GPT��3結(jié)構(gòu)

10.14.5GPT��3的局限性與安全性

10.14.6小結(jié)

10.15基于GPT��2的中文預(yù)訓(xùn)練模型

10.15.1項(xiàng)目介紹

10.15.2生成結(jié)果篩選

10.15.3模型推理

10.15.4模型訓(xùn)練

10.15.5小結(jié)

10.16InstructGPT與ChatGPT

10.16.1InstructGPT動(dòng)機(jī)

10.16.2人類反饋強(qiáng)化學(xué)習(xí)

10.16.3InstructGPT原理

10.16.4InstructGPT評(píng)估及結(jié)果

10.16.5InstructGPT數(shù)據(jù)集

10.16.6InstructGPT局限性

10.16.7ChatGPT

10.16.8小結(jié)

10.17ChatGPT與提示詞工程

10.17.1提示詞工程

10.17.2提示詞的構(gòu)成

10.17.3簡(jiǎn)單提示詞

10.17.4少樣本提示詞

10.17.5情境化提示詞

10.17.6定制化

10.17.7場(chǎng)景應(yīng)用

10.17.8ChatGPT的攻擊與防御

10.17.9小結(jié)

10.18百川大模型使用

10.18.1模型簡(jiǎn)介

10.18.2項(xiàng)目介紹

10.18.3模型結(jié)構(gòu)

10.18.4模型推理

10.18.5模型微調(diào)

10.18.6小結(jié)

10.19百川大模型實(shí)現(xiàn)

10.19.1解碼緩存原理

10.19.2解碼層實(shí)現(xiàn)

10.19.3語(yǔ)言模型實(shí)現(xiàn)

10.19.4模型微調(diào)實(shí)現(xiàn)

10.19.5模型推理實(shí)現(xiàn)

10.19.6模型解碼過(guò)程

10.19.7小結(jié)

10.20GPT��4與GPT的使用

10.20.1GPT��4介紹

10.20.2GPT��4模型的使用

10.20.3GPT介紹

10.20.4小結(jié)

參考文獻(xiàn)