第一章 大語言模型基礎知識 001～037
第一節(jié) LLM基礎 003
一、LLM概述 003
二、大模型存在的問題 010
三、檢索增強生成（RAG） 012
四、大模型的改進方法 014
第二節(jié) GPT模型介紹 016
一、GPT模型的發(fā)展歷程 018
二、GPT模型的關鍵論文 024
三、GPT模型的結構可視化 028
第三節(jié) 開源、工具和實戰(zhàn) 034

第二章 大語言模型的技術細節(jié) 038～103
第一節(jié) 大語言模型的全局視圖 040
第二節(jié) 注意力機制 049
一、自注意力機制 050
二、多頭注意力機制 053
第三節(jié) 編碼、嵌入和神經(jīng)網(wǎng)絡 057
一、位置編碼 057
二、旋轉位置編碼 059
三、字段編碼 062
四、前饋網(wǎng)絡 064
五、層歸一化 066
第四節(jié) 權重、參數(shù)和訓練策略 068
一、權重 068
二、Transformer的訓練策略和優(yōu)化方法 070
三、Transformer模型的正則化技術 072
四、注意力機制的變種和改進 073
五、Transformer模型微調的常見策略 074
第五節(jié) 更多原理剖析 075
一、零樣本提示 075
二、少量樣本提示 076
三、Transformer模型中的殘差連接 077
四、文本生成源碼解讀 078
第六節(jié) 大模型的能與不能 082
一、人工智能的大工業(yè)時代 083
二、ChatGPT不等于人工智能 084
第七節(jié) 圖示Transformer和實戰(zhàn)GPT-2 085
一、圖示Transformer 085
二、實戰(zhàn)GPT-2 096
第八節(jié) 實戰(zhàn)：手動部署大模型 101

第三章 開源大模型和Llama實戰(zhàn) 104～123
第一節(jié) Llama的結構 106
第二節(jié) 運行Llama3 110
第三節(jié) Llama微調 112
一、微調的步驟 112
二、微調的方法 114
三、微調所需的基礎知識 119
第四節(jié) 實戰(zhàn)：大語言模型(LLM)微調框架 121

第四章 中文Llama模型 124～167
第一節(jié) 中文數(shù)據(jù)準備 128
一、中文數(shù)據(jù)處理的技術 130
二、中文數(shù)據(jù)處理的過程 138
三、中文數(shù)據(jù)處理的工具 140
第二節(jié) 基于中文數(shù)據(jù)的模型訓練 143
一、指令數(shù)據(jù)搜集和處理 143
二、AdaLoRA算法剖析 146
三、大模型指令微調之量化 147
四、大模型壓縮技術 149
五、大模型蒸餾技術 150
第三節(jié) 模型評測 151
第四節(jié) 人類反饋的集成 156
第五節(jié) 實戰(zhàn)：中文應用開發(fā) 159
一、基于Llama的醫(yī)學大模型的開源項目 159
二、基于Llama的法律大模型的開源項目 161
三、基于Llama的金融大模型的開源項目 163
四、基于Llama的科技論文大模型的
開源項目 166

第五章 實戰(zhàn)大語言模型應用 168～192
第一節(jié) 大模型的基礎設施創(chuàng)新 169
一、數(shù)據(jù)庫創(chuàng)新開源項目 169
二、將自然語言問題轉換為 SQL 查詢 171
三、將大模型數(shù)據(jù)查詢SQL化 173
第二節(jié) 基于大模型的應用創(chuàng)新 174
一、基于LLM的開源代碼編寫助手 174
二、開源數(shù)據(jù)交互工具 176
三、領先的文檔GPT開源項目 178
第三節(jié) 大模型的優(yōu)化和發(fā)展創(chuàng)新 180
一、開源的大模型用戶分析平臺 180
二、低代碼方式搭建大模型 181
三、開源搜索增強RAG項目 184
第四節(jié) Agent技術 185
一、微軟開源的強大Agent——AutoGen 186
二、讓Agent去完成RPA 189
三、讓Agent去標注數(shù)據(jù)——Adala 190

第六章 開源文生圖 193～220
第一節(jié) 文生圖技術概述 194
一、生成對抗網(wǎng)絡（GANs）介紹 195
二、GANs在圖片生成方面的應用 196
三、GANs圖片應用的說明和原理 198
第二節(jié) 開源文生圖模型介紹 202
一、Stable Diffusion介紹 203
二、LDMs介紹 208
三、DALL-E和Stable Diffusion 209
第三節(jié) 開源文生圖模型技術要點 213
一、LDMs的源代碼導讀 213
二、用一個案例說明Stable Diffusion 214
三、實戰(zhàn)：部署開源項目stable-diffusion-webui 218
第四節(jié) 實戰(zhàn)：打造基于開源的文生圖應用 220

第七章 開源文生視頻 221～228
第一節(jié) 開源文生視頻介紹 222
第二節(jié) 文生視頻技術難點和路線 224
一、文生視頻技術難點 224
二、開源文生視頻路線 226
第三節(jié) 開源文生視頻應用 227

第八章 開源多模態(tài) 229～240
第一節(jié) 多模態(tài)介紹 231
第二節(jié) 多模態(tài)的技術細節(jié) 232
一、GPT-4o的多模態(tài)介紹 234
二、視覺指令調整 235
第三節(jié) 開源多模態(tài)案例 235
一、LLaVA實現(xiàn)GPT-4V級別的開源多模態(tài) 235
二、開源LLaVA-1.5介紹 237
三、MGM：一個強大的多模態(tài)大模型 238

第九章 DeepSeek實戰(zhàn) 241～253
第一節(jié) DeepSeek核心技術介紹 242
一、混合專家架構 242
二、多頭潛在注意力機制 244
三、混合精度訓練 245
第二節(jié) DeepSeek-R1模型復現(xiàn) 245
第三節(jié) DeepSeek-V3本地化源碼級部署 246
一、使用 DeepSeek-Infer 進行推理演示 247
二、基于華為硬件的DeepSeek部署 248
第四節(jié) 基于DeepSeek的開源應用 249
一、基于DeepSeek的PPT生成系統(tǒng) 249
二、DeepSeek支持的可視化BI解決方案 250
三、DeepSeek支持的健康分析平臺 251
四、DeepSeek支持的智能測試用例生成平臺 251
五、可本地化部署的企業(yè)級DeepSeek知識管理平臺 252
六、基于DeepSeek的智能體RPA 252