本書共分為12章，圍繞大語(yǔ)言模型基礎(chǔ)理論、預(yù)訓(xùn)練、指令理解、大模型增強(qiáng)和大模型應(yīng)用五個(gè)部分展開：第1部分介紹大語(yǔ)言模型的基礎(chǔ)理論；第2部分介紹大語(yǔ)言模型的預(yù)訓(xùn)練，包括大語(yǔ)言模型預(yù)訓(xùn)練數(shù)據(jù)和分布式訓(xùn)練；第3部分介紹大語(yǔ)言模型如何理解并服從人類指令，包括指令微調(diào)和強(qiáng)化學(xué)習(xí)；第4部分介紹大語(yǔ)言模型增強(qiáng)技術(shù)，包括多模態(tài)大語(yǔ)言模型、大模型智能體和檢索增強(qiáng)生成；第5部分介紹大模型應(yīng)用，包括大語(yǔ)言模型效率優(yōu)化、大語(yǔ)言模型評(píng)估和大語(yǔ)言模型應(yīng)用開發(fā)。

第2章介紹大語(yǔ)言模型的基礎(chǔ)理論知識(shí)，包括語(yǔ)言模型的定義、Transformer結(jié)構(gòu)、大語(yǔ)言模型框架等內(nèi)容，并以LLaMA使用的模型結(jié)構(gòu)為例介紹代碼實(shí)例。

第3章和第4章圍繞大語(yǔ)言模型預(yù)訓(xùn)練階段的主要研究?jī)?nèi)容展開介紹，包括模型分布式訓(xùn)練中需要掌握的數(shù)據(jù)并行、流水線并行、張量并行及ZeRO系列優(yōu)化方法。除此之外，還將介紹預(yù)訓(xùn)練需要使用的數(shù)據(jù)分布和數(shù)據(jù)預(yù)處理方法，并以DeepSpeed為例介紹如何進(jìn)行大語(yǔ)言模型預(yù)訓(xùn)練。

第5章和第6章聚焦于大語(yǔ)言模型指令理解階段的核心研究?jī)?nèi)容，探討如何通過(guò)指令微調(diào)和強(qiáng)化學(xué)習(xí)方法，使模型能夠理解指令并生成類人回答。第5章重點(diǎn)介紹模型微調(diào)技術(shù)、指令微調(diào)數(shù)據(jù)的構(gòu)造策略以及高效微調(diào)方法，如LoRA、Delta Tuning等方法，第6章則圍繞強(qiáng)化學(xué)習(xí)展開，講解其基礎(chǔ)理論與近端策略優(yōu)化（PPO）技術(shù)，并結(jié)合實(shí)際案例，以DeepSpeed-Chat和verl框架為例，詳細(xì)說(shuō)明如何訓(xùn)練類ChatGPT系統(tǒng)。

第7章、第8章和第9章圍繞提升大語(yǔ)言模型的能力展開詳細(xì)探討，內(nèi)容涵蓋多模態(tài)大語(yǔ)言模型、大模型智能體和檢索增強(qiáng)生成。第7章重點(diǎn)介紹多模態(tài)大語(yǔ)言模型的基礎(chǔ)理論、架構(gòu)設(shè)計(jì)與訓(xùn)練策略，并探討其在實(shí)際場(chǎng)景中的應(yīng)用實(shí)踐；第8章聚焦于智能體的發(fā)展歷程與大語(yǔ)言模型智能體的架構(gòu)設(shè)計(jì)，深入分析智能體的實(shí)現(xiàn)原理，并以LangChain為例詳細(xì)闡述具體實(shí)踐；第9章則圍繞檢索增強(qiáng)生成展開討論，介紹其核心思想與實(shí)現(xiàn)方式，涵蓋檢索增強(qiáng)框架的設(shè)計(jì)、檢索模塊與生成模塊的協(xié)作機(jī)制，以及其在具體任務(wù)場(chǎng)景中的應(yīng)用方法與實(shí)踐。

第10章、第11章和第12章主要圍繞如何應(yīng)用大語(yǔ)言模型展開討論，內(nèi)容涵蓋提升模型效率的方法、大語(yǔ)言模型評(píng)估，以及大語(yǔ)言模型典型應(yīng)用的開發(fā)與部署。第10章重點(diǎn)介紹模型壓縮與優(yōu)化、訓(xùn)練效率優(yōu)化和推理效率優(yōu)化等提升模型效率的關(guān)鍵技術(shù)；第11章聚焦于大語(yǔ)言模型評(píng)估，探討其基本概念和難點(diǎn)，闡述評(píng)估體系的構(gòu)建、評(píng)估方法的設(shè)計(jì)及實(shí)際評(píng)估的實(shí)施；第12章則基于典型的大語(yǔ)言模型應(yīng)用場(chǎng)景，詳細(xì)介紹其開發(fā)流程、開發(fā)工具及本地部署的實(shí)踐方法。