本書深入剖析DeepSeek的核心技術，介紹了提示詞的原理與高級應用，對DeepSeek的模型架構(gòu)、訓練框架，以及MoE優(yōu)化、MLA、思維鏈、GRPO算法、獎勵模型等技術細節(jié)進行了探討。此外，本書對DeepSeek給人工智能行業(yè)格局帶來的影響及DeepSeek的開源貢獻進行了分析，對大模型的未來趨勢進行了展望，并介紹了DeepSeek在開源方面做出的貢獻。
本書適合人工智能研究人員、開發(fā)人員及大模型相關技術愛好者閱讀，也為關注人工智能領域技術發(fā)展的從業(yè)人員提供了參考與借鑒。
由一線資深技術人員編寫，知識點講解清晰。內(nèi)容完全圍繞DeepSeek核心技術展開，提煉精華。深入討論DeepSeek的開源貢獻，并通過LLaMA 4的技術優(yōu)化對大模型的未來進行了展望。
寫作目的
2025年年初，DeepSeek成為全球人工智能（AI）領域的焦點，其DeepSeek-V3和DeepSeek-R1版本在行業(yè)內(nèi)引發(fā)了結(jié)構(gòu)性震動。
本書是剖析DeepSeek技術原理的專業(yè)技術書，以全面的內(nèi)容、深入的技術原理解析和前瞻性的行業(yè)洞察，為技術人員、研究人員和大模型相關技術愛好者提供了寶貴的學習資料，也為關注人工智能領域技術發(fā)展的從業(yè)人員提供了重要的參考與借鑒。通過閱讀這本書，讀者可以深入了解DeepSeek的技術細節(jié)，快速掌握大模型領域的前沿知識，洞察其對行業(yè)格局的影響，從而更好地把握人工智能發(fā)展的脈絡，提升自身在該領域的專業(yè)素養(yǎng)和競爭力，為未來的職業(yè)發(fā)展和個人成長奠定堅實的基礎。
本書架構(gòu)
第1章介紹DeepSeek的一系列技術突破與創(chuàng)新，如架構(gòu)創(chuàng)新、訓練優(yōu)化、推理與部署優(yōu)化等，讓讀者對DeepSeek的性能突破形成直觀的認識。同時，介紹DeepSeek的模型家族，涵蓋通用語言模型、多模態(tài)模型、代碼生成與理解等領域，展現(xiàn)了DeepSeek在大模型的不同細分領域取得的成就。
第2章為初學者深入淺出地講解DeepSeek的使用方法。從推理模型與通用模型的差異，到具體的使用案例，讀者可以直觀地感受DeepSeek在實際應用中的強大功能。對提示工程的詳細介紹，可以幫助讀者了解如何通過精心設計的提示詞更好地發(fā)揮DeepSeek的能力。對提示詞鏈的高級使用技巧的介紹，為讀者進一步提升DeepSeek使用效果提供參考。
第3章和第4章是本書的核心與精華。
第3章深入剖析DeepSeek-V3的模型架構(gòu)、訓練框架、推理階段優(yōu)化、后訓練優(yōu)化等關鍵技術。從混合專家模型（MoE）的起源與發(fā)展，到DeepSeek-V3的MoE優(yōu)化，再到對多頭潛在注意力（MLA）機制和多token預測的詳細解讀，幫助讀者全面了解DeepSeek-V3在技術上的先進性和創(chuàng)新性。同時，對訓練框架的并行策略、FP8混合精度訓練及推理階段的優(yōu)化等內(nèi)容的深入分析，展示了DeepSeek在提升效率和性能方面的不懈追求。
第4章關于DeepSeek-R1的技術剖析同樣精彩紛呈。預備知識的介紹為讀者理解后續(xù)內(nèi)容打下了堅實的基礎。對DeepSeek-R1-Zero的組相對策略優(yōu)化（GRPO）算法、獎勵模型等關鍵技術的深入剖析，可以幫助讀者了解DeepSeek在強化學習領域的創(chuàng)新性探索。對DeepSeek-R1的訓練過程和推理能力的蒸餾等內(nèi)容的詳細闡述，能讓讀者對這一創(chuàng)新技術的特點有全面的認知。
第5章從宏觀的角度分析DeepSeek對人工智能技術格局的影響，包括打破硬件依賴迷思、沖擊英偉達CUDA護城河、引發(fā)大模型技術路線的重新思考等多個方面。同時，總結(jié)了DeepSeek成功背后的啟示，如領導者敏銳的技術直覺、長期主義的堅持、極致的工程優(yōu)化等，為讀者提供了寶貴的經(jīng)驗和啟示。
第6章對DeepSeek開源周的多個技術項目進行了深入的分析。通過對FlashMLA、DeepEP、DeepGEMM、DualPipe 與 EPLB、3FS等項目的介紹，展示了DeepSeek在開源領域的積極探索，體現(xiàn)了其推動大模型技術普及和發(fā)展的決心。這些技術項目的詳細解讀，能讓讀者了解DeepSeek在降低人工智能技術門檻、促進技術交流與合作方面的巨大貢獻。
第7章對大模型的發(fā)展進行了討論。從MoE的發(fā)展趨勢、MLA的展望，大模型的訓練方法、推理部署，到GPU硬件及推理模型的發(fā)展趨勢，以前瞻性的視角為讀者描繪了大模型的發(fā)展藍圖。
本書將帶領讀者走進DeepSeek的神秘世界，領略大模型技術的魅力，開啟一段探索人工智能未來的奇妙旅程。無論您是對大模型技術感興趣的初學者，還是在該領域深耕多年的專業(yè)人士，本書都值得一讀。它將幫助您更好地把握人工智能技術的發(fā)展趨勢，提升自身的技術水平和創(chuàng)新能力，為您在人工智能領域的發(fā)展提供有力的支持。
致謝
感謝劉嘉浪（碩士，國防科技大學）、詹佳磊（博士，國防科技大學）和謝宇航（碩士，西安電子科技大學）為本書寫作提供的幫助。
本書成書較為倉促，如有不足之處，還請讀者批評指正。
盧菁 北京科技大學博士，北京大學博士后，B站、視頻號優(yōu)秀科技博主。曾任職于騰訊、愛奇藝等知名互聯(lián)網(wǎng)公司，前騰訊AI內(nèi)訓講師，主要從事人工智能技術的應用和研發(fā)工作，主要研究方向為大模型、多模態(tài)、自然語言處理、知識圖譜、推薦系統(tǒng)等。著有《速通機器學習》《速通深度學習數(shù)學基礎》。
戴志仕 資深AI架構(gòu)師，寒武紀人工智能公眾號的創(chuàng)立者。2024年CCF國際AIOps挑戰(zhàn)賽優(yōu)秀獎獲得者。擁有十余年人工智能算法研究和產(chǎn)業(yè)落地經(jīng)驗，成功實施過多個人工智能項目。
第 1 章 技驚四座的 DeepSeek / 1
1.1 石破天驚的產(chǎn)品發(fā)布 / 1
1.2 DeepSeek-V3 和 DeepSeek-R1 可以做什么 / 4
1.3 DeepSeek-V3 的技術突破與創(chuàng)新 / 7
1.3.1 架構(gòu)創(chuàng)新 / 8
1.3.2 訓練優(yōu)化 / 9
1.3.3 推理與部署優(yōu)化 / 10
1.3.4 效果的全面提升 / 10
1.4 DeepSeek-R 系列的技術突破與創(chuàng)新 / 10
1.4.1 DeepSeek-R1-Zero 的技術突破與創(chuàng)新 / 11
1.4.2 DeepSeek-R1 的技術突破與創(chuàng)新 / 12
1.4.3 推理能力的提升 / 12
1.5 DeepSeek 發(fā)布的模型家族 / 14
1.5.1 通用語言大模型 / 16
1.5.2 多模態(tài)大模型 / 17
1.5.3 代碼大模型 / 18
1.5.4 數(shù)學推理大模型 / 18
1.5.5 混合專家模型 / 19
1.5.6 MoE 專用微調(diào)模型 / 19
1.5.7 基于 LLaMA 架構(gòu)的模型 / 20
第 2 章 提示詞的原理與應用 / 21
2.1 推理模型與通用模型 / 21
2.2 提示工程 / 29
2.2.1 提示詞的類型 / 30
2.2.2 提示詞的基本元素 / 33
2.2.3 有效的提示詞 / 37
2.2.4 正確地表達需求 / 38
2.3 提示詞高級技巧：提示詞鏈 / 39
2.3.1 提示詞鏈的設計過程 / 39
2.3.2 提示詞鏈的應用案例 / 40
第3章 DeepSeek-V3 技術剖析 / 43
3.1 DeepSeek 的模型架構(gòu) / 43
3.1.1 MoE 的起源與發(fā)展 / 44
3.1.2 DeepSeek-V3 的 MoE 優(yōu)化 / 50
3.1.3 DeepSeek-V3 的 MoE 架構(gòu)的優(yōu)勢 / 54
3.1.4 DeepSeek-V3 的 MLA / 54
3.1.5 DeepSeek-V3 的 MTP / 59
3.2 DeepSeek 的訓練框架 / 62
3.2.1 常見的并行策略 / 62
3.2.2 DeepSeek 的并行策略 / 67
3.2.3 DeepSeek 的 FP8 混合精度訓練 / 73
3.3 DeepSeek 的推理階段優(yōu)化 / 77
3.3.1 PD 分離架構(gòu) / 77
3.3.2 DeepSeek 的預填充階段優(yōu)化 / 78
3.3.3 DeepSeek 的解碼階段優(yōu)化 / 78
3.4 DeepSeek 的后訓練優(yōu)化 / 79
3.5 小結(jié) / 80
第 4 章 DeepSeek-R1 技術剖析 / 81
4.1 預備知識 / 81
4.1.1 思維鏈 / 81
4.1.2 有監(jiān)督微調(diào) / 82
4.1.3 強化學習 / 83
4.2 DeepSeek 對訓練推理模型的探索 / 88
4.3 DeepSeek-R1-Zero 的訓練 / 88
4.3.1 GRPO 算法 / 91
4.3.2 獎勵模型 / 94
4.4 DeepSeek-R1 的訓練 / 95
4.4.1 階段一訓練 / 96
4.4.2 階段二訓練 / 97
4.4.3 推理能力的蒸餾 / 99
4.5 小結(jié) / 100
第5章 DeepSeek 的影響與成功啟示 / 103
5.1 DeepSeek 對 AI 格局的影響 / 103
5.1.1 打破硬件依賴的迷思 / 103
5.1.2 對英偉達 CUDA 護城河的沖擊 / 104
5.1.3 對大模型技術路線的重新思考 / 104
5.1.4 投資風向的改變 / 105
5.1.5 對商業(yè)模式的沖擊 / 105
5.1.6 對創(chuàng)新文化的沖擊 / 106
5.1.7 對地緣政治的沖擊 / 106
5.2 DeepSeek 的成功啟示 / 106
5.2.1 領導者的技術直覺 / 107
5.2.2 長期主義 / 107
5.2.3 極致的工程優(yōu)化 / 107
5.2.4 對資源的高效利用 / 108
5.2.5 團隊的創(chuàng)新文化 / 108
第 6 章 DeepSeek 開源技術剖析 / 109
6.1 DeepSeek 的開源周 / 109
6.2 FlashMLA：減少顯存消耗 / 110
6.2.1 項目特點 / 111
6.2.2 應用場景 / 112
6.2.3 技術剖析 / 113
6.2.4 影響與展望 / 114
6.3 DeepEP：通信系統(tǒng)的優(yōu)化 / 115
6.3.1 項目特點 / 115
6.3.2 應用場景 / 116
6.3.3 技術剖析 / 117
6.3.4 影響與展望 / 119
6.4 DeepGEMM：讓矩陣乘法起飛 / 120
6.4.1 項目特點 / 121
6.4.2 應用場景 / 123
6.4.3 技術剖析 / 124
6.4.4 影響與展望 / 126
6.5 DualPipe 與 EPLB：集群并行計算優(yōu)化 / 127
6.5.1 項目特點 / 128
6.5.2 技術剖析 / 130
6.5.3 影響與展望 / 133
6.6 3FS：為 AI 加速 / 134
6.6.1 項目特點 / 134
6.6.2 應用場景 / 136
6.6.3 技術剖析 / 137
6.6.4 影響與展望 / 139
第 7 章 大模型未來發(fā)展展望 / 143
7.1 MoE 的未來 / 143
7.1.1 專家數(shù)量與規(guī)模的優(yōu)化 / 143
7.1.2 MoE 分布式訓練工具進一步完善 / 143
7.1.3 門控算法的改進 / 144
7.1.4 跨領域應用與融合 / 144
7.2 MLA 的未來 / 144
7.3 大模型訓練方法的發(fā)展趨勢 / 145
7.3.1 三階段訓練法的普及 / 145
7.3.2 混合精度訓練的推廣 / 145
7.3.3 并行策略的優(yōu)化 / 145
7.4 推理部署的發(fā)展趨勢 / 146
7.4.1 PD 分離模式的普及 / 146
7.4.2 集群化推理的優(yōu)化與推理加速技術研究 / 146
7.5 GPU 硬件的未來發(fā)展 / 146
7.5.1 軟硬件協(xié)同升級 / 146
7.5.2 存儲與通信能力的優(yōu)化 / 147
7.5.3 低精度計算的支持 / 147
7.5.4 異構(gòu)計算的支持 / 147
7.6 從 LLaMA 4 看推理模型的發(fā)展 / 148
7.6.1 LLaMA 4 簡介 / 148
7.6.2 LLaMA 4 的核心技術細節(jié) / 150
書單推薦
