第一章 大語言模型基礎(chǔ)知識 001～037
第一節(jié) LLM基礎(chǔ) 003
一、LLM概述 003
二、大模型存在的問題 010
三、檢索增強生成（RAG） 012
四、大模型的改進方法 014
第二節(jié) GPT模型介紹 016
一、GPT模型的發(fā)展歷程 018
二、GPT模型的關(guān)鍵論文 024
三、GPT模型的結(jié)構(gòu)可視化 028
第三節(jié) 開源、工具和實戰(zhàn) 034

第二章 大語言模型的技術(shù)細節(jié) 038～103
第一節(jié) 大語言模型的全局視圖 040
第二節(jié) 注意力機制 049
一、自注意力機制 050
二、多頭注意力機制 053
第三節(jié) 編碼、嵌入和神經(jīng)網(wǎng)絡(luò) 057
一、位置編碼 057
二、旋轉(zhuǎn)位置編碼 059
三、字段編碼 062
四、前饋網(wǎng)絡(luò) 064
五、層歸一化 066
第四節(jié) 權(quán)重、參數(shù)和訓(xùn)練策略 068
一、權(quán)重 068
二、Transformer的訓(xùn)練策略和優(yōu)化方法 070
三、Transformer模型的正則化技術(shù) 072
四、注意力機制的變種和改進 073
五、Transformer模型微調(diào)的常見策略 074
第五節(jié) 更多原理剖析 075
一、零樣本提示 075
二、少量樣本提示 076
三、Transformer模型中的殘差連接 077
四、文本生成源碼解讀 078
第六節(jié) 大模型的能與不能 082
一、人工智能的大工業(yè)時代 083
二、ChatGPT不等于人工智能 084
第七節(jié) 圖示Transformer和實戰(zhàn)GPT-2 085
一、圖示Transformer 085
二、實戰(zhàn)GPT-2 096
第八節(jié) 實戰(zhàn)：手動部署大模型 101

第三章 開源大模型和Llama實戰(zhàn) 104～123
第一節(jié) Llama的結(jié)構(gòu) 106
第二節(jié) 運行Llama3 110
第三節(jié) Llama微調(diào) 112
一、微調(diào)的步驟 112
二、微調(diào)的方法 114
三、微調(diào)所需的基礎(chǔ)知識 119
第四節(jié) 實戰(zhàn)：大語言模型(LLM)微調(diào)框架 121

第四章 中文Llama模型 124～167
第一節(jié) 中文數(shù)據(jù)準(zhǔn)備 128
一、中文數(shù)據(jù)處理的技術(shù) 130
二、中文數(shù)據(jù)處理的過程 138
三、中文數(shù)據(jù)處理的工具 140
第二節(jié) 基于中文數(shù)據(jù)的模型訓(xùn)練 143
一、指令數(shù)據(jù)搜集和處理 143
二、AdaLoRA算法剖析 146
三、大模型指令微調(diào)之量化 147
四、大模型壓縮技術(shù) 149
五、大模型蒸餾技術(shù) 150
第三節(jié) 模型評測 151
第四節(jié) 人類反饋的集成 156
第五節(jié) 實戰(zhàn)：中文應(yīng)用開發(fā) 159
一、基于Llama的醫(yī)學(xué)大模型的開源項目 159
二、基于Llama的法律大模型的開源項目 161
三、基于Llama的金融大模型的開源項目 163
四、基于Llama的科技論文大模型的
開源項目 166

第五章 實戰(zhàn)大語言模型應(yīng)用 168～192
第一節(jié) 大模型的基礎(chǔ)設(shè)施創(chuàng)新 169
一、數(shù)據(jù)庫創(chuàng)新開源項目 169
二、將自然語言問題轉(zhuǎn)換為 SQL 查詢 171
三、將大模型數(shù)據(jù)查詢SQL化 173
第二節(jié) 基于大模型的應(yīng)用創(chuàng)新 174
一、基于LLM的開源代碼編寫助手 174
二、開源數(shù)據(jù)交互工具 176
三、領(lǐng)先的文檔GPT開源項目 178
第三節(jié) 大模型的優(yōu)化和發(fā)展創(chuàng)新 180
一、開源的大模型用戶分析平臺 180
二、低代碼方式搭建大模型 181
三、開源搜索增強RAG項目 184
第四節(jié) Agent技術(shù) 185
一、微軟開源的強大Agent——AutoGen 186
二、讓Agent去完成RPA 189
三、讓Agent去標(biāo)注數(shù)據(jù)——Adala 190

第六章 開源文生圖 193～220
第一節(jié) 文生圖技術(shù)概述 194
一、生成對抗網(wǎng)絡(luò)（GANs）介紹 195
二、GANs在圖片生成方面的應(yīng)用 196
三、GANs圖片應(yīng)用的說明和原理 198
第二節(jié) 開源文生圖模型介紹 202
一、Stable Diffusion介紹 203
二、LDMs介紹 208
三、DALL-E和Stable Diffusion 209
第三節(jié) 開源文生圖模型技術(shù)要點 213
一、LDMs的源代碼導(dǎo)讀 213
二、用一個案例說明Stable Diffusion 214
三、實戰(zhàn)：部署開源項目stable-diffusion-webui 218
第四節(jié) 實戰(zhàn)：打造基于開源的文生圖應(yīng)用 220

第七章 開源文生視頻 221～228
第一節(jié) 開源文生視頻介紹 222
第二節(jié) 文生視頻技術(shù)難點和路線 224
一、文生視頻技術(shù)難點 224
二、開源文生視頻路線 226
第三節(jié) 開源文生視頻應(yīng)用 227

第八章 開源多模態(tài) 229～240
第一節(jié) 多模態(tài)介紹 231
第二節(jié) 多模態(tài)的技術(shù)細節(jié) 232
一、GPT-4o的多模態(tài)介紹 234
二、視覺指令調(diào)整 235
第三節(jié) 開源多模態(tài)案例 235
一、LLaVA實現(xiàn)GPT-4V級別的開源多模態(tài) 235
二、開源LLaVA-1.5介紹 237
三、MGM：一個強大的多模態(tài)大模型 238

第九章 DeepSeek實戰(zhàn) 241～253
第一節(jié) DeepSeek核心技術(shù)介紹 242
一、混合專家架構(gòu) 242
二、多頭潛在注意力機制 244
三、混合精度訓(xùn)練 245
第二節(jié) DeepSeek-R1模型復(fù)現(xiàn) 245
第三節(jié) DeepSeek-V3本地化源碼級部署 246
一、使用 DeepSeek-Infer 進行推理演示 247
二、基于華為硬件的DeepSeek部署 248
第四節(jié) 基于DeepSeek的開源應(yīng)用 249
一、基于DeepSeek的PPT生成系統(tǒng) 249
二、DeepSeek支持的可視化BI解決方案 250
三、DeepSeek支持的健康分析平臺 251
四、DeepSeek支持的智能測試用例生成平臺 251
五、可本地化部署的企業(yè)級DeepSeek知識管理平臺 252
六、基于DeepSeek的智能體RPA 252