第 1 章 引言與概述 1 11 生成式人工智能概述 1 111 判別式模型 2 112 生成式模型 3 113 什么是生成式人工智能， 為何流行 4 114 為什么生成式人工智能 變得如此強(qiáng)* 5 115 縮放定律 8 116 生成式人工智能的風(fēng)險(xiǎn) 與限制 9 12 機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì)面試框架 9 121 明確需求 10 122 將問(wèn)題轉(zhuǎn)換為機(jī)器學(xué)習(xí) 任務(wù) 11 123 數(shù)據(jù)準(zhǔn)備 14 124 模型開(kāi)發(fā) 19 125 評(píng)估 30 126 整體機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì) 32 13 小結(jié) 33 第 2 章 Gmail 智能撰寫 35 21 明確需求 35 22 將問(wèn)題轉(zhuǎn)換為機(jī)器學(xué)習(xí)任務(wù) 36 221 指定系統(tǒng)的輸入和輸出 36 222 選擇合適的機(jī)器學(xué)習(xí) 方法 36 23 數(shù)據(jù)準(zhǔn)備 37 231 文本清洗與標(biāo)準(zhǔn)化 39 232 文本詞元化與詞元索引 39 24 模型開(kāi)發(fā) 44 241 架構(gòu) 44 242 訓(xùn)練 53 243 采樣 59 244 智能撰寫功能適合采用 哪種采樣方法 62 25 評(píng)估 65 251 離線評(píng)估指標(biāo) 65 252 在線評(píng)估指標(biāo) 67 26 整體機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì) 68 261 觸發(fā)服務(wù) 68 262 短語(yǔ)生成器 69 263 后處理服務(wù) 70 27 其他討論要點(diǎn) 72 第3 章 Google 翻譯 73 31 明確需求 73 32 將問(wèn)題轉(zhuǎn)換為機(jī)器學(xué)習(xí)任務(wù) 74 321 指定系統(tǒng)的輸入和輸出 74 322 選擇合適的機(jī)器學(xué)習(xí) 方法 75 33 數(shù)據(jù)準(zhǔn)備 76 331 文本預(yù)處理 76 332 文本詞元化 77 ii | 目 錄 34 模型開(kāi)發(fā) 82 341 架構(gòu) 82 342 訓(xùn)練 86 343 采樣 91 35 評(píng)估 92 351 離線評(píng)估指標(biāo) 92 352 在線評(píng)估指標(biāo) 95 36 整體機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì) 96 361 語(yǔ)言檢測(cè)器 96 362 翻譯服務(wù) 97 37 其他討論要點(diǎn) 98 第4 章 ChatGPT：個(gè)人聊天 助理 99 41 明確需求 99 42 將問(wèn)題轉(zhuǎn)換為機(jī)器學(xué)習(xí)任務(wù) 100 421 指定系統(tǒng)的輸入和輸出 100 422 選擇合適的機(jī)器學(xué)習(xí) 方法 100 43 數(shù)據(jù)準(zhǔn)備 101 44 模型開(kāi)發(fā) 102 441 架構(gòu) 102 442 訓(xùn)練 106 443 采樣 117 45 評(píng)估 127 451 離線評(píng)估指標(biāo) 127 452 在線評(píng)估指標(biāo) 133 46 整體機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì) 135 461 訓(xùn)練流程 135 462 推理流程 135 47 其他討論要點(diǎn) 137 第5 章 圖像描述生成 138 51 明確需求 139 52 將問(wèn)題轉(zhuǎn)換為機(jī)器學(xué)習(xí)任務(wù) 140 521 指定系統(tǒng)的輸入和輸出 140 522 選擇合適的機(jī)器學(xué)習(xí) 方法 140 53 數(shù)據(jù)準(zhǔn)備 141 531 標(biāo)題數(shù)據(jù)準(zhǔn)備 142 532 圖像數(shù)據(jù)準(zhǔn)備 142 54 模型開(kāi)發(fā) 143 541 架構(gòu) 143 542 訓(xùn)練 149 543 采樣 151 55 評(píng)估 152 551 離線評(píng)估指標(biāo) 152 552 在線評(píng)估指標(biāo) 155 56 總體機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì) 155 57 其他討論要點(diǎn) 157 第6 章 檢索增強(qiáng)生成 158 61 明確需求 159 62 將問(wèn)題轉(zhuǎn)換為機(jī)器學(xué)習(xí)任務(wù) 160 621 指定系統(tǒng)的輸入和輸出 160 622 選擇合適的機(jī)器學(xué)習(xí) 方法 160 63 數(shù)據(jù)準(zhǔn)備 164 631 文檔解析 164 632 文檔分塊 166 633 索引 167 634 使用基于向量的檢索 來(lái)索引數(shù)據(jù) 169 64 模型開(kāi)發(fā) 170 641 架構(gòu) 170 642 訓(xùn)練 172 643 采樣 174 65 評(píng)估 182 651 上下文相關(guān)性 183 652 忠實(shí)性 183 653 答案相關(guān)性 184 目 錄 | iii 654 答案正確性 184 66 整體機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì) 185 661 索引過(guò)程 186 662 安全過(guò)濾 186 663 查詢擴(kuò)展 186 664 檢索 186 665 生成 186 67 其他討論要點(diǎn) 187 第7 章 真實(shí)人臉生成 188 71 明確需求 188 72 將問(wèn)題轉(zhuǎn)換為機(jī)器學(xué)習(xí)任務(wù) 189 721 指定系統(tǒng)的輸入和輸出 189 722 選擇合適的機(jī)器學(xué)習(xí) 方法 189 73 數(shù)據(jù)準(zhǔn)備 196 74 模型開(kāi)發(fā) 197 741 架構(gòu) 197 742 訓(xùn)練 202 743 采樣 206 75 評(píng)估 208 751 離線評(píng)估指標(biāo) 208 752 在線評(píng)估指標(biāo) 212 76 整體機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì) 212 761 人臉生成器 213 762 訓(xùn)練服務(wù) 213 763 評(píng)估服務(wù) 213 764 部署服務(wù) 214 77 其他討論要點(diǎn) 214 第8 章 高分辨率圖像合成 215 81 明確需求 215 82 將問(wèn)題轉(zhuǎn)換為機(jī)器學(xué)習(xí)任務(wù) 216 821 指定系統(tǒng)的輸入和輸出 216 822 選擇合適的機(jī)器學(xué)習(xí) 方法 216 83 數(shù)據(jù)準(zhǔn)備 220 831 圖像清理和歸一化 220 832 圖像詞元化 220 84 模型開(kāi)發(fā) 221 841 架構(gòu) 221 842 訓(xùn)練 225 843 采樣 229 85 評(píng)估 230 851 離線評(píng)估指標(biāo) 230 852 在線評(píng)估指標(biāo) 231 86 整體機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì) 231 861 生成服務(wù) 232 862 解碼服務(wù) 232 863 超分辨率服務(wù) 232 87 其他討論要點(diǎn) 233 第9 章 文本到圖像生成 234 91 明確需求 235 92 將問(wèn)題轉(zhuǎn)換為機(jī)器學(xué)習(xí)任務(wù) 235 921 指定系統(tǒng)的輸入和輸出 235 921 選擇合適的機(jī)器學(xué)習(xí) 方法 236 93 數(shù)據(jù)準(zhǔn)備 239 931 圖像準(zhǔn)備 239 932 圖像描述文本準(zhǔn)備 240 94 模型開(kāi)發(fā) 240 941 架構(gòu) 240 942 訓(xùn)練 244 943 采樣 248 95 評(píng)估 250 951 離線評(píng)估指標(biāo) 250 952 在線評(píng)估指標(biāo) 252 96 整體機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì) 253 961 數(shù)據(jù)流程 253 962 訓(xùn)練流程 254 963 評(píng)估流程 254 iv | 目 錄 964 模型優(yōu)化流程 254 965 推理流程 254 97 其他討論要點(diǎn) 257 第 10 章 個(gè)性化頭像生成 258 101 明確需求 258 102 將問(wèn)題轉(zhuǎn)換為機(jī)器學(xué)習(xí)任務(wù) 259 1021 指定系統(tǒng)的輸入和 輸出 259 1022 選擇合適的機(jī)器學(xué)習(xí) 方法 260 103 數(shù)據(jù)準(zhǔn)備 269 104 模型開(kāi)發(fā) 270 1041 架構(gòu) 270 1042 訓(xùn)練 271 1043 采樣 272 105 評(píng)估 273 1051 離線評(píng)估指標(biāo) 273 1052 在線評(píng)估指標(biāo) 276 106 整體機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì) 276 1061 數(shù)據(jù)流程 276 1062 訓(xùn)練流程 277 1063 推理流程 278 107 其他討論要點(diǎn) 279 第 11 章 文本到視頻生成 280 111 明確需求 281 112 將問(wèn)題轉(zhuǎn)換為機(jī)器學(xué)習(xí)任務(wù) 282 1121 指定系統(tǒng)的輸入和 輸出 282 1122 選擇合適的機(jī)器學(xué)習(xí) 方法 282 113 數(shù)據(jù)準(zhǔn)備 285 1131 視頻準(zhǔn)備 285 1132 描述文本準(zhǔn)備 287 114 模型開(kāi)發(fā) 288 1141 架構(gòu) 288 1142 訓(xùn)練 294 1143 采樣 297 115 評(píng)估 298 1151 離線評(píng)估指標(biāo) 298 1152 在線評(píng)估指標(biāo) 300 116 整體機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì) 300 1161 數(shù)據(jù)流程 300 1162 訓(xùn)練流程 301 1163 推理流程 301 117 其他討論要點(diǎn) 302 后記 303