目錄
第1章 緒論 1
1.1 大數(shù)據(jù)技術概述 1
1.1.1 數(shù)據(jù)的基本概念 1
1.1.2 大數(shù)據(jù)概念及技術體系 5
1.2 大數(shù)據(jù)計算概述 17
1.2.1 計算與算力 17
1.2.2 大數(shù)據(jù)計算技術 18
1.3 本書的組織結構 21
1.4 本章小結 21
第2章 大數(shù)據(jù)存儲 23
2.1 大數(shù)據(jù)存儲概述 23
2.1.1 大數(shù)據(jù)存儲發(fā)展 23
2.1.2 當前數(shù)據(jù)存儲與計算發(fā)展的特點 24
2.1.3 大數(shù)據(jù)計算與存儲的本質關系 25
2.1.4 計算需求驅動的存儲架構設計 26
2.2 分布式文件系統(tǒng) 27
2.2.1 分布式文件系統(tǒng)的概念 27
2.2.2 分布式文件系統(tǒng)的結構 28
2.3 分布式數(shù)據(jù)庫 28
2.3.1 HBase 簡介 28
2.3.2 HBase 與傳統(tǒng)關系數(shù)據(jù)庫的對比分析 29
2.3.3 訪問接口 29
2.4 NoSQL 數(shù)據(jù)庫 30
2.4.1 鍵值數(shù)據(jù)庫 30
2.4.2 列值數(shù)據(jù)庫 31
2.4.3 文檔數(shù)據(jù)庫 31
2.4.4 圖數(shù)據(jù)庫 32
2.4.5 時序數(shù)據(jù)庫 33
2.4.6 空間數(shù)據(jù)庫 35
2.4.7 向量數(shù)據(jù)庫 37
2.5 本章小結 40
第3章 大數(shù)據(jù)分析與可視化 41
3.1 大數(shù)據(jù)分析概述 41
3.1.1 第四范式—數(shù)據(jù)密集型科學發(fā)現(xiàn) 41
3.1.2 大數(shù)據(jù)分析類型 42
3.1.3 大數(shù)據(jù)分析的應用領域 43
3.2 大數(shù)據(jù)分析常用算法 45
3.2.1 分類 45
3.2.2 聚類 48
3.2.3 集成學習 49
3.2.4 關聯(lián)規(guī)則挖掘 51
3.2.5 回歸 52
3.3 大數(shù)據(jù)可視化概述 54
3.4 文本大數(shù)據(jù)可視化 55
3.4.1 基本流程 56
3.4.2 文本生成視頻 57
3.4.3 應用場景 57
3.5 圖大數(shù)據(jù)可視化 57
3.5.1 圖大數(shù)據(jù)可視化挑戰(zhàn) 58
3.5.2 應用實例 59
3.6 大數(shù)據(jù)可視化常用工具 59
3.6.1 Tableau 59
3.6.2 Qlik View 60
3.6.3 Cosmograph 61
3.6.4 基于大語言模型的可視化 61
3.7 本章小結 62
第4章 大數(shù)據(jù)計算框架及軟件架構 63
4.1 大數(shù)據(jù)計算的方式 63
4.1.1 大數(shù)據(jù)計算的特點 63
4.1.2 大數(shù)據(jù)計算的目標 64
4.1.3 數(shù)據(jù)處理方式 65
4.2 大數(shù)據(jù)計算的方法 67
4.2.1 批處理計算 67
4.2.2 流式計算 68
4.2.3 其他計算 71
4.3 傳統(tǒng)大數(shù)據(jù)軟件架構 72
4.3.1 Hadoop 架構 72
4.3.2 Spark 架構 73
4.3.3 流處理框架 73
4.4 本章小結 74
第5章 先進大數(shù)據(jù)計算系統(tǒng)框架 75
5.1 領域專用軟硬件協(xié)同計算概述 76
5.1.1 計算機體系結構基礎 76
5.1.2 計算機系統(tǒng)形態(tài)發(fā)展趨勢 83
5.1.3 領域專用架構介紹 86
5.2 領域專用軟硬件協(xié)同計算關鍵技術 89
5.2.1 領域專用共性元素抽象方法 89
5.2.2 領域專用軟件工具鏈設計技術 93
5.2.3 領域專用語言 103
5.3 本章小結 105
第6章 大數(shù)據(jù)計算系統(tǒng)架構模擬仿真 106
6.1 計算機模擬仿真技術簡介 106
6.1.1 模擬器分類 107
6.1.2 現(xiàn)有模擬器概述 110
6.2 計算機體系結構模擬仿真的關鍵問題及解決技術 112
6.2.1 模擬精度低 112
6.2.2 模擬速度慢 113
6.2.3 可用性問題 117
6.2.4 易用性問題 119
6.3 多節(jié)點網(wǎng)絡的系統(tǒng)級設計和仿真 120
6.3.1 計算機體系結構模擬仿真的未來發(fā)展趨勢 121
6.3.2 離散事件模擬與并行化技術 124
6.3.3 大規(guī)模計算系統(tǒng)仿真器 125
6.4 本章小結 133
第7章 先進大數(shù)據(jù)計算系統(tǒng)實現(xiàn)技術 134
7.1 典型大數(shù)據(jù)計算系統(tǒng)加速芯片 134
7.1.1 GPU 134
7.1.2 FPGA 136
7.1.3 TPU 138
7.1.4 DPU 140
7.2 晶圓級計算系統(tǒng)實現(xiàn)技術 142
7.2.1 晶圓級計算系統(tǒng)簡介142
7.2.2 軟件定義晶上系統(tǒng)的關鍵技術 145
7.2.3 軟件定義晶上系統(tǒng)的前景 146
7.3 本章小結 148
第8章 先進大數(shù)據(jù)計算系統(tǒng)應用實踐 149
8.1 大數(shù)據(jù)試驗場 149
8.1.1 大數(shù)據(jù)試驗場總體架構 149
8.1.2 數(shù)據(jù)資源池建設 150
8.1.3 試驗場基礎設施建設151
8.1.4 試驗場服務平臺建設156
8.2 醫(yī)保大數(shù)據(jù)稽核 157
8.2.1 醫(yī)�；�核面臨的困難158
8.2.2 醫(yī)保大數(shù)據(jù)稽核技術能力 158
8.2.3 醫(yī)保大數(shù)據(jù)監(jiān)管稽核體系 161
8.3 遙感大數(shù)據(jù)計算 164
8.3.1 旋轉目標識別背景介紹 164
8.3.2 常用數(shù)據(jù)集與評價標準 166
8.3.3 遙感圖像目標檢測識別算法加速技術 168
8.4 本章小結 177
第9章 大數(shù)據(jù)計算的生態(tài)體系和發(fā)展趨勢 178
9.1 大數(shù)據(jù)計算生態(tài)體系 178
9.1.1 大數(shù)據(jù)計算與知識工程 178
9.1.2 大數(shù)據(jù)計算與智能算法 179
9.1.3 大數(shù)據(jù)計算與算力基礎設施 181
9.1.4 大數(shù)據(jù)計算與網(wǎng)絡安全 181
9.2 大數(shù)據(jù)計算未來發(fā)展趨勢 182
9.2.1 數(shù)據(jù)應用密集化 182
9.2.2 算力異構加速化 182
9.2.3 全局高階互聯(lián)化 183
9.2.4 數(shù)據(jù)安全資產化 183
9.2.5 全棧自主可控化 183
9.2.6 軟硬系統(tǒng)節(jié)能化 184
9.3 本章小結 184
后記 185
參考文獻 186