本書是《大數據之路:阿里巴巴大數據實踐》的升級版,內容不再僅僅聚焦于阿里巴巴,而是延伸到對千行百業(yè)的實踐與探索。本書從追溯數據中臺的起源與發(fā)展脈絡,到從多視角、繪藍圖、資源化和資產化等多方面設計滿足業(yè)務需求的數據中臺框架,再到全方位探討數據的交易與流通、智能算法的應用,以及"1NN決策分析框架的應用,匯聚了我們在大數據實踐過程中的經驗、教訓和方法。 本書理論與實踐相結合,包含大量真實的案例,從金融服務的風險控制,到制造業(yè)的供應鏈優(yōu)化,再到零售業(yè)的個性化營銷,通過大量鮮活的實例為讀者提供極具價值的參考與啟示。不論是企業(yè)經營者、數據管理者,還是技術實踐者、數據愛好者,都能從中受益。
瓴羊提供一整套數字化產品和服務,涵蓋數據生產、數據消費以及數據流通等三大環(huán)節(jié),幫助企業(yè)有效利用數據資源,促進數據與企業(yè)實際運營的深度融合,賦能企業(yè)增長和數字化轉型。已服務了上百家知名企業(yè)和眾多中小企業(yè)的數字化建設,如一汽紅旗、星巴克等多個行業(yè),團隊具有豐富的大數據實踐案例和經驗。
目 錄 CONTENTS
第1章 再出發(fā):數據中臺的萌芽與蛻變 001
1.1 理念起源:中臺思維的初步形成 002
1.2 標準確立:OneData體系的升級 004
1.3 平臺構建:OneData與數據中臺的融合 006
1.4 轉型深化:數據中臺的新變革 011
1.5 持續(xù)進化:數據中臺的未來發(fā)展 012
第2章 多視角:從千行百業(yè)中的問題出發(fā) 013
2.1 CXO視角:數據中臺的戰(zhàn)略考量 014
2.1.1 數據中臺的實質分析 014
2.1.2 數據中臺的目標與價值體現 014
2.1.3 組織與人才在數據中臺建設中的作用 017
2.2 數據管理者視角:數據中臺的運維與治理 019
2.2.1 數據中臺業(yè)務價值評估與團隊認同 020
2.2.2 數據資源的高效利用與成本控制 021
2.2.3 數據治理實踐與數據質量提升 023
2.3 數據消費者視角:數據中臺的使用體驗 025
2.3.1 優(yōu)化數據搜索效率與用戶體驗 025
2.3.2 提高數據質量與數據可信度 026
第3章 繪藍圖:數據中臺的思維與框架 027
3.1 跨越十年:數據中臺的演進與本質思考 027
3.1.1 應變之道:面對變革的策略選擇 027
3.1.2 雙軌并進:數據構建與應用的協(xié)同演進 029
3.2 數據中臺思維:戰(zhàn)略·價值·運營 032
3.2.1 戰(zhàn)略為先:頂層設計與漸進迭代 032
3.2.2 價值導向:業(yè)務共振與價值生成 034
3.2.3 運營為核:數據中臺的建設策略 037
3.3 數據中臺框架:從頂層設計到價值實現 038
3.3.1 頂層設計:塑造戰(zhàn)略導向,組織敏捷與文化創(chuàng)新 039
3.3.2 資源化:構建穩(wěn)健數據架構與高效建設機制 041
3.3.3 資產化:深化數據管理與治理,實現數據資產增值 043
3.3.4 要素化:促進數據交易與流通,激活數據市場活力 044
3.3.5 價值化:智能決策賦能,驅動業(yè)務創(chuàng)新與增長 046
第4章 資源化:數據架構與建設 049
4.1 數據架構的時光機:阿里巴巴視角下的演變 049
4.1.1 開啟旅程:孵化期的業(yè)務數據啟蒙 050
4.1.2 蓄勢待發(fā):萌芽期的獨立引擎與離線倉庫 050
4.1.3 邁向未來:迭代期的實時計算革命 052
4.1.4 筑夢成真:成熟期的OneData與數據中臺 054
4.1.5 引領變革:變革期的湖倉一體架構 055
4.1.6 迎接挑戰(zhàn):大模型驅動的數據進化 057
4.2 數據架構模式的前沿探索 057
4.2.1 分布式之美:Data Mesh的領域驅動 057
4.2.2 織就數據網:Data Fabric的統(tǒng)一數據體驗 058
4.2.3 敏捷運維之道:DataOps的持續(xù)改進 059
4.2.4 數據中臺:企業(yè)級數據治理的典范 060
4.3 數據架構的理論基石與設計原則 061
4.3.1 數據架構的本質與價值 061
4.3.2 數據模型架構設計的原則與方法 063
4.3.3 解析數據平臺架構設計的關鍵要素與實踐 068
4.4 案例:達米公司的數據架構建設實踐 071
4.4.1 業(yè)務布局與數字化轉型需求 072
4.4.2 如何規(guī)劃企業(yè)級數據倉庫 073
4.4.3 如何克服數據孤島,實現數據集成 082
4.4.4 如何構建和管理多模態(tài)數據資產 089
4.5 行業(yè)數據架構推薦與案例分析 131
4.5.1 金融行業(yè):數據治理與合規(guī)挑戰(zhàn) 131
4.5.2 汽車行業(yè):大規(guī)模數據處理與分析 136
4.5.3 服飾行業(yè):個性化數據服務與營銷 140
第5章 資產化:數據治理與管理 145
5.1 數據治理概述 145
5.1.1 區(qū)分數據治理與數據管理 145
5.1.2 解析數據治理的核心問題 146
5.1.3 制定數據治理的目標 150
5.1.4 構建數據治理的框架 150
5.2 數據標準管理 152
5.2.1 數據標準的核心問題 153
5.2.2 三流合一的數據標準解決方案 154
5.2.3 數據標準的治理工具與平臺 161
5.3 數據質量管理 169
5.3.1 數據質量管理的核心挑戰(zhàn) 169
5.3.2 三流合一的數據質量管理模式 176
5.3.3 數據質量評價與優(yōu)化機制 184
5.4 數據安全與流通管理 188
5.4.1 數據安全合規(guī)面臨的核心挑戰(zhàn) 189
5.4.2 數據安全治理的方法和框架 192
5.4.3 數據安全實踐 202
5.5 數據成本管理 203
5.5.1 數據資源利用的核心挑戰(zhàn) 203
5.5.2 資源治理閉環(huán)體系的構建 204
5.5.3 數據成本計量與模型設計 207
5.6 數據治理運營體系建設 210
5.6.1 阿里巴巴數據治理模式:0-1-N模式 210
5.6.2 數據治理的人才體系及培訓機制 211
5.6.3 數據治理的管理機制優(yōu)化 213
5.6.4 數據治理的文化建設與宣導 216
第6章 要素化:數據的交易與流通 219
6.1 構建企業(yè)內部數據消費生態(tài)體系 220
6.1.1 數據資源化:激活數據價值的引擎 220
6.1.2 場景價值導向:驅動數據消費的深化與拓展 222
6.1.3 數據運營:企業(yè)數字化轉型的基石與引擎 228
6.1.4 阿里巴巴大促:數據驅動下的精細化運營實踐 237
6.2 布局企業(yè)外部數據流通生態(tài)體系 239
6.2.1 如何高效整合外部數據資源 239
6.2.2 數據資產商業(yè)化的策略與挑戰(zhàn) 241
6.2.3 瓴羊港:企業(yè)數據流通的服務樞紐 243
6.3 數據流通的深化合規(guī)與技術融合 253
6.3.1 多維合規(guī)視角下的數據流通治理 253
6.3.2 合規(guī)與技術驅動的協(xié)同機制 258
6.4 數據資產入表 266
6.4.1 數據資產入表的定義與會計處理依據 267
6.4.2 數據資產入表的重要性 267
6.4.3 數據資產入表的條件 269
6.4.4 數據資產入表的步驟 270
6.4.5 數據資產入表的準備工作 274
第7章 大模型:數據與智能算法 277
7.1 從符號到大模型的AI躍遷 277
7.2 深度學習與數據驅動 279
7.2.1 深度學習模型的迭代與創(chuàng)新 279
7.2.2 數據到模型全流程優(yōu)化路徑 284
7.3 智能引擎在推薦系統(tǒng)、廣告系統(tǒng)與搜索引擎中的應用 292
7.3.1 推薦系統(tǒng)的架構、鏈路與算法 292
7.3.2 計算廣告體系的架構、鏈路與算法 298
7.3.3 搜索系統(tǒng)的架構、鏈路與算法 301
7.4 大模型時代的革新與發(fā)展 305
7.4.1 語言模型:從Word2Vec到通義千問 306
7.4.2 多模態(tài)大模型:從學習到生成模型 312
7.4.3 AI Agent:革新、架構與行業(yè)應用探索 322
7.5 大數據賦能大模型創(chuàng)新與突破 326
7.5.1 數據規(guī)模,大模型演化的關鍵 327
7.5.2 檢索增強,大模型可信化的基石 328
7.5.3 數據資產,大模型效能的催化劑 330
7.6 大模型賦能Quick BI 332
7.6.1 Quick BI,數據洞察的智慧平臺 332
7.6.2 Quick BI與智能小Q 333
7.6.3 Quick BI的底層核心能力 336
第8章 價值化:數據驅動下的智能決策 339
8.1 1NN決策體系框架:構建企業(yè)數智管理內核 339
8.1.1 一套數據語言體系:打造企業(yè)內部的神經中樞(1) 340
8.1.2 N層決策分析核心架構:從戰(zhàn)略到執(zhí)行的準確映射(N) 342
8.1.3 N個決策分析關鍵要素:確保數據語言準確高效(N) 343
8.2 1NN決策體系建設思路:推動數智管理的設計與實施 344
8.2.1 1NN決策體系建設的三大關鍵支柱 344
8.2.2 1NN決策體系建設的實施路徑及步驟 346
8.3 數智管理案例:1NN決策體系在業(yè)務場景中的應用 348
8.3.1 業(yè)務痛點及核心需求分析 348
8.3.2 1NN決策體系解決方案:定制化應對策略 349
8.4 業(yè)財一體化案例:1NN決策體系數智化重塑業(yè)財融合 352
8.4.1 業(yè)務痛點及核心需求 352
8.4.2 1NN決策體系的業(yè)財解決方案 354
8.4.3 案例總結:業(yè)財融合的成功實踐 357
8.5 人力資源數智化案例:1NN決策體系重塑人力資源管理體系 358
8.5.1 背景與需求 359
8.5.2 關鍵要素分析 359
8.5.3 人力資源管理的轉型 360
8.5.4 人效金字塔方法論 361
第9章 價值化:數據驅動產銷協(xié)同 365
9.1 數智產銷的發(fā)展進階 366
9.1.1 初始期:業(yè)務流程驅動管理 367
9.1.2 發(fā)展期:決策分析驅動管理 369
9.1.3 變革期:數據智能驅動管理 370
9.2 數智產銷協(xié)同化 372
9.2.1 產銷的1NN決策體系設計 372
9.2.2 產銷的PLM智能決策設計 376
9.3 數智化產銷決策實戰(zhàn)案例 379
9.3.1 新品企劃:寵物用品從洞察到爆品的實戰(zhàn)路徑 379
9.3.2 商品鋪貨:九陽小家電的精細化管理實踐 384
9.3.3 需求預測:供應鏈優(yōu)化的實戰(zhàn)案例 386
9.3.4 精準補調:瓴羊賦能快消品供應鏈優(yōu)化 388
第10章 價值化:多源數據融合的智能營銷探索 391
10.1 多源數據融合的價值場景案例 392
10.1.1 營銷服務的痛點透視與核心需求解析 393
10.1.2 RTA構建高效廣告投放優(yōu)化實戰(zhàn) 394
10.1.3 LBS數據賦能品牌跨渠道協(xié)同效應 396
10.2 多源數據融合的關鍵技術 400
10.2.1 通過OneID建立標簽畫像 400
10.2.2 Embedding的兩種形式 407
10.2.3 隱私計算與聯(lián)邦學習 409
10.2.4 DataTrust:如何實現數據可用不可見 410
第11章 先行者:數據文化與組織建設 415
11.1 不同企業(yè)數據戰(zhàn)略下的組織設計 416
11.1.1 以數據能力建設為導向的組織設計 417
11.1.2 以成為客戶運營商為戰(zhàn)略的組織設計 420
11.1.3 面向數據商業(yè)的組織設計 423
11.2 阿里巴巴的數據組織與文化運營 428
11.2.1 阿里巴巴數據組織的發(fā)展歷程 428
11.2.2 數據崗位的設定與標準 430
11.2.3 數據文化的醞釀與繁榮 433
11.3 數據組織與文化保障企業(yè)數據戰(zhàn)略落地 435
11.3.1 數據組織及文化建設的關鍵點 435
11.3.2 企業(yè)數據組織建設與數據文化運營的建議 437