第 1章　理解LLM Twin的概念與架構　1
1.1　理解LLM Twin的概念　1
1.1.1　什么是LLM Twin　2
1.1.2　為什么構建LLM Twin　3
1.1.3　為什么不使用ChatGPT（或其他類似的聊天機器人）　4
1.2　規(guī)劃LLM Twin的MVP　5
1.2.1　什么是MVP　5
1.2.2　定義LLM Twin的MVP　5
1.3　基于特征、訓練和推理流水線構建機器學習系統(tǒng)　6
1.3.1　構建生產(chǎn)級機器學習系統(tǒng)的挑戰(zhàn)　6
1.3.2　以往解決方案的問題　8
1.3.3　解決方案：機器學習系統(tǒng)的流水線　10
1.3.4　FTI流水線的優(yōu)勢　11
1.4　設計LLM Twin的系統(tǒng)架構　12
1.4.1　列出LLM Twin架構的技術細節(jié)　12

1.4.2　使用FTI流水線設計LLM Twin架構　13
1.4.3　關于FTI流水線架構和LLM Twin架構的最終思考　17
1.5　小結　18
第 2章　工具與安裝　19
2.1　Python生態(tài)環(huán)境與項目安裝　20
2.1.1　Poetry：Python項目依賴與環(huán)境管理利器　21
2.1.2　Poe the Poet：Python 項目任務管理神器　22
2.2　MLOps與MLOps工具生態(tài)　23
2.2.1　Hugging Face：模型倉庫　23
2.2.2　ZenML：編排、工件和元數(shù)據(jù)　24
2.2.3　Comet ML：實驗跟蹤工具　33
2.2.4　Opik：提示監(jiān)控　34
2.3　用于存儲NoSQL和向量數(shù)據(jù)的數(shù)據(jù)庫　35
2.3.1　MongoDB：NoSQL數(shù)據(jù)庫　35

2.3.2　Qdrant：向量數(shù)據(jù)庫　35
2.4　為AWS做準備　36
2.4.1　設置AWS賬戶、訪問密鑰和CLI　36
2.4.2　SageMaker：訓練與推理計算　37
2.5　小結　39
第3章　數(shù)據(jù)工程　40
3.1　設計LLM Twin的數(shù)據(jù)采集流水線　41
3.1.1　實現(xiàn)LLM Twin數(shù)據(jù)采集流水線　44
3.1.2　ZenML流水線及其步驟　44
3.1.3　分發(fā)器：實例化正確的爬蟲　48
3.1.4　爬蟲　50
3.1.5　NoSQL數(shù)據(jù)倉庫文檔　59
3.2　采集原始數(shù)據(jù)并存儲到數(shù)據(jù)倉庫　67
3.3　小結　71
第4章　RAG特征流水線　73
4.1　理解RAG　73
4.1.1　為什么使用RAG　74
4.1.2　基礎RAG框架　75
4.1.3　什么是嵌入　78
4.1.4　關于向量數(shù)據(jù)庫的更多內(nèi)容　84
4.2　高級RAG技術概覽　86
4.2.1　預檢索　87
4.2.2　檢索　90
4.2.3　后檢索　91
4.3　探索LLM Twin的RAG特征流水線架構　93
4.3.1　待解決的問題　93
4.3.2　特征存儲　94
4.3.3　原始數(shù)據(jù)從何而來　94
4.3.4　設計RAG特征流水線架構　94
4.4　實現(xiàn)LLM Twin的RAG特征流水線　101
4.4.1　配置管理　101
4.4.2　ZenML流水線與步驟　102
4.4.3　Pydantic領域?qū)嶓w　109
4.4.4　分發(fā)器層　116
4.4.5　處理器　117
4.5　小結　125
第5章　監(jiān)督微調(diào)　127
5.1　構建指令訓練數(shù)據(jù)集　127
5.1.1　構建指令數(shù)據(jù)集的通用框架　128
5.1.2　數(shù)據(jù)管理　130
5.1.3　基于規(guī)則的過濾　131
5.1.4　數(shù)據(jù)去重　132
5.1.5　數(shù)據(jù)凈化　133
5.1.6　數(shù)據(jù)質(zhì)量評估　133
5.1.7　數(shù)據(jù)探索　136
5.1.8　數(shù)據(jù)生成　138
5.1.9　數(shù)據(jù)增強　139
5.2　構建自定義指令數(shù)據(jù)集　140
5.3　探索SFT及其關鍵技術　148
5.3.1　何時進行微調(diào)　148
5.3.2　指令數(shù)據(jù)集格式　149
5.3.3　聊天模板　150
5.3.4　參數(shù)高效微調(diào)技術　151
5.3.5　訓練參數(shù)　155
5.4　微調(diào)技術實踐　158
5.5　小結　164
第6章　偏好對齊微調(diào)　165
6.1　理解偏好數(shù)據(jù)集　165
6.1.1　偏好數(shù)據(jù)　166
6.1.2　數(shù)據(jù)生成與評估　168
6.2　構建個性化偏好數(shù)據(jù)集　171
6.3　偏好對齊　177
6.3.1　基于人類反饋的強化學習　178
6.3.2　DPO　179
6.4　實踐DPO　181
6.5　小結　187
第7章　LLM的評估方法　188
7.1　模型能力評估　188
7.1.1　機器學習與LLM評估的對比　188
7.1.2　通用LLM評估　189
7.1.3　領域特定LLM評估　191
7.1.4　任務特定LLM評估　193
7.2　RAG系統(tǒng)的評估　195
7.2.1　Ragas　196
7.2.2　ARES　197
7.3　TwinLlama-3.1-8B模型評估　198
7.3.1　生成答案　199
7.3.2　答案評估　200
7.3.3　結果分析　204
7.4　小結　207
第8章　模型推理性能優(yōu)化　208
8.1　模型優(yōu)化方法　208
8.1.1　KV cache　209
8.1.2　連續(xù)批處理　211
8.1.3　投機解碼　212
8.1.4　優(yōu)化的注意力機制　214
8.2　模型并行化　215
8.2.1　數(shù)據(jù)并行　215
8.2.2　流水線并行　216
8.2.3　張量并行　217
8.2.4　組合使用并行化方法　218
8.3　模型量化　219
8.3.1　量化簡介　219
8.3.2　基于GGUF和llama.cpp的模型量化　223
8.3.3　GPTQ和EXL2量化技術　225
8.3.4　其他量化技術　226
8.4　小結　227
第9章　RAG推理流水線　228
9.1　理解LLM Twin的RAG推理流水線　229
9.2　探索LLM Twin的高級RAG技術　230
9.2.1　高級RAG預檢索優(yōu)化：查詢擴展與自查詢　233
9.2.2　高級RAG檢索優(yōu)化：過濾向量搜索　239
9.2.3　高級RAG后檢索優(yōu)化：重排序　240
9.3　構建基于RAG的LLM Twin推理流水線　243
9.3.1　實現(xiàn)檢索模塊　243
9.3.2　整合RAG推理流水線　249
9.4　小結　254
第 10章　推理流水線部署　255
10.1　部署方案的選擇　256
10.1.1　吞吐量和延遲　256
10.1.2　數(shù)據(jù)　256
10.1.3　基礎設施　257
10.2　深入理解推理部署方案　258
10.2.1　在線實時推理　259
10.2.2　異步推理　260
10.2.3　離線批量轉(zhuǎn)換　260
10.3　模型服務的單體架構與微服務架構　261
10.3.1　單體架構　261
10.3.2　微服務架構　262
10.3.3　單體架構與微服務架構的 選擇　264
10.4　探索LLM Twin的推理流水線部署 方案　265
10.5　部署LLM Twin服務　268
10.5.1　基于AWS SageMaker構建LLM 微服務　268
10.5.2　使用FastAPI構建業(yè)務 微服務　282
10.6　自動縮放應對突發(fā)流量高峰　285
10.6.1　注冊縮放目標　287
10.6.2　創(chuàng)建彈性縮放策略　287
10.6.3　縮放限制的上下限設置　288
10.7　小結　289
第 11章　MLOps與LLMOps　290
11.1　LLMOps發(fā)展之路：從DevOps和 MLOps尋根　291
11.1.1　DevOps　291
11.1.2　MLOps　293
11.1.3　LLMOps　296
11.2　將LLM Twin流水線部署到云端　299
11.2.1　理解基礎架構　300
11.2.2　MongoDB環(huán)境配置　301
11.2.3　Qdrant環(huán)境配置　302
11.2.4　設置ZenML云環(huán)境　303
11.3　為LLM Twin添加LLMOps　313
11.3.1　LLM Twin的CI/CD流水線 工作流程　313
11.3.2　GitHub Actions快速概覽　316
11.3.3　CI流水線　316
11.3.4　CD流水線　320
11.3.5　測試CI/CD流水線　322
11.3.6　CT流水線　323
11.3.7　提示監(jiān)控　327
11.3.8　告警　332
11.4　小結　332
附錄　MLOps原則　334