前 言
我們正處在一個數(shù)據(jù)爆炸的時代。據(jù)統(tǒng)計，人類在過去兩年產(chǎn)生的數(shù)據(jù)量超過了此前整個歷史的總和。面對如此龐大的數(shù)據(jù)資源，如何從中提取有價值的信息和知識，如何讓數(shù)據(jù)產(chǎn)生價值，如何將數(shù)據(jù)轉(zhuǎn)化為競爭優(yōu)勢，已成為個人、企業(yè)乃至國家發(fā)展的關(guān)鍵能力。
隨著第四次工業(yè)和科技革命的發(fā)展，傳統(tǒng)的生產(chǎn)方式和生活方式已經(jīng)發(fā)生深刻變革，數(shù)據(jù)已經(jīng)成為重要的生產(chǎn)要素，數(shù)據(jù)驅(qū)動的決策模式正在取代傳統(tǒng)的經(jīng)驗驅(qū)動模式。從電商平臺的個性化推薦到金融機構(gòu)的風險控制，從制造企業(yè)的智能生產(chǎn)到政府部門的公共服務，數(shù)據(jù)挖掘與商務智能技術(shù)的應用已經(jīng)滲透到社會經(jīng)濟的各個領(lǐng)域。
數(shù)據(jù)科學日益重要，社會對既懂管理又懂技術(shù)的復合型人才的需求日益迫切。人文社科類專業(yè)本科生、研究生也應順應時代發(fā)展要求，掌握數(shù)據(jù)科學和人工智能相關(guān)專業(yè)知識，具備數(shù)據(jù)思維能力、技術(shù)實現(xiàn)能力、業(yè)務理解能力和創(chuàng)新應用能力，并能夠運用數(shù)據(jù)科學和人工智能的技術(shù)與方法解決復雜的社會科學問題。基于多年教學實踐和行業(yè)調(diào)研，編者深感需要一本既有理論深度又有實踐廣度的綜合性教材。
本書的編寫基于問題導向、能力本位、系統(tǒng)集成、與時俱進、循序漸進的核心理念。本書不是為了講技術(shù)而講技術(shù)，而是圍繞社會科學實際問題展開，讓學生在解決問題的過程中掌握知識和技能。本書通過大量的實踐練習和案例，培養(yǎng)學生的實際操作能力和問題解決能力。
在內(nèi)容組織上，本書構(gòu)建了完整的知識體系，從商務智能與數(shù)據(jù)挖掘的理論框架到具體的算法實現(xiàn)，從傳統(tǒng)的統(tǒng)計方法到前沿的深度學習技術(shù)，層次分明、邏輯清晰。全書以Python為主要技術(shù)工具，每個重要概念都配有相應的代碼實現(xiàn)，每種算法都提供具體的應用案例，所有代碼都經(jīng)過嚴格測試，確保讀者能夠直接運行學習。
在技術(shù)內(nèi)容上，本書不僅涵蓋傳統(tǒng)的數(shù)據(jù)挖掘內(nèi)容，還融入了文本挖掘、深度學習等前沿技術(shù)，緊跟技術(shù)發(fā)展趨勢。作為人文社科類專業(yè)的教材，本書特別注重社會科學和計算機科學的融合，既講解技術(shù)原理，也分析應用場景，既關(guān)注算法效率，也考慮商業(yè)價值。
本書適合作為人文社科類專業(yè)本科生、研究生的信息類課程基礎(chǔ)教材，建議安排在學生已掌握基本計算機語言知識之后使用。對于教師，建議采用“理論+實踐+案例”的教學模式，每次課都安排一定的實驗操作時間。對于學生，建議按照章節(jié)順序系統(tǒng)學習，每學完一章都要及時完成相應的習題，確保理論知識得到及時鞏固。
本書所有實例都基于 Python 3.8 以上版本開發(fā)，主要使用 numpy、pandas、scikit-learn、PyTorch等主流開源庫。建議讀者在學習前先搭建好Anaconda環(huán)境，確保能夠順利運行書中的所有代碼。對于有一定基礎(chǔ)的讀者，可以根據(jù)需要選擇相關(guān)章節(jié)深入學習；對于從業(yè)者，可以將本書作為工具書使用，根據(jù)工作需要查閱相關(guān)內(nèi)容。
本書的編寫得到了眾多同行和師生的大力支持。感謝參與本書審閱的各位學者，他們的專業(yè)意見和建設(shè)性建議大大提高了本書的質(zhì)量。在本書代碼測試過程中，劉兆健、王樂天、黃志偉、溫建春、解雅婷、石樸、楊鵬飛、李云豪等同學的辛勤工作確保了本書所有實例的準確性。感謝出版社編輯團隊的專業(yè)精神和家人給予的理解和支持。
由于編者水平有限，加之數(shù)據(jù)挖掘與商務智能技術(shù)發(fā)展迅速，書中難免存在疏漏和不足之處。我們真誠希望廣大讀者能夠不吝指正，提出寶貴意見和建議。我們將在今后的修訂中認真采納這些意見和建議，不斷完善本書的內(nèi)容和質(zhì)量。
在這個數(shù)據(jù)驅(qū)動的時代，掌握數(shù)據(jù)挖掘與商務智能技術(shù)不僅是專業(yè)發(fā)展的需要，更是適應時代發(fā)展的必然要求。希望本書能夠成為讀者在這一領(lǐng)域?qū)W習和實踐的良師益友，幫助大家在數(shù)字化轉(zhuǎn)型的浪潮中把握機遇，用智慧點亮未來，用技術(shù)創(chuàng)造價值。
編 者
2025年6月
目 錄
第1章 商務智能概述 1
1.1 基本概念 1
1.1.1 商務智能的定義 1
1.1.2 商務智能的發(fā)展 3
1.1.3 商務智能的主要功能 4
1.2 框架和流程 5
1.2.1 商務智能的體系框架 5
1.2.2 商務智能系統(tǒng)的處理流程 6
1.3 支撐技術(shù) 7
1.3.1 數(shù)據(jù)倉庫技術(shù) 7
1.3.2 在線分析處理技術(shù) 8
1.3.3 數(shù)據(jù)挖掘技術(shù) 8
1.4 主要應用和發(fā)展趨勢 9
1.4.1 商務智能的主流軟件 9
1.4.2 商務智能的應用場景 11
1.4.3 商務智能的發(fā)展趨勢 12
小結(jié) 13
習題 14
第2章 數(shù)據(jù)挖掘概述 15
2.1 引論 15
2.1.1 數(shù)字社會 15
2.1.2 人工智能的浪潮 16
2.2 數(shù)據(jù)、信息與知識 16
2.2.1 數(shù)據(jù)概述 16
2.2.2 信息概述 17
2.2.3 知識概述 17
2.3 基本概念 18
2.3.1 數(shù)據(jù)挖掘的定義 18
2.3.2 數(shù)據(jù)挖掘的功能 19
2.3.3 數(shù)據(jù)挖掘的研究問題 21
2.4 數(shù)據(jù)類型和來源 21
2.4.1 數(shù)據(jù)挖掘的數(shù)據(jù)類型 21
2.4.2 數(shù)據(jù)挖掘的數(shù)據(jù)來源 22
2.5 核心技術(shù) 23
2.5.1 統(tǒng)計學 23
2.5.2 機器學習 23
2.5.3 信息檢索 24
2.6 應用場景與安全問題 25
2.6.1 數(shù)據(jù)挖掘的應用場景 25
2.6.2 數(shù)據(jù)挖掘的安全問題 26
小結(jié) 26
習題 27
第3章 Python基礎(chǔ) 28
3.1 Python環(huán)境的搭建 28
3.1.1 Python簡介 28
3.1.2 Python環(huán)境的配置 29
3.1.3 Python開發(fā)工具 32
3.1.4 Python庫的安裝 34
3.2 numpy庫 36
3.2.1 numpy庫安裝驗證 36
3.2.2 NDarray對象創(chuàng)建 37
3.2.3 NDarray數(shù)組屬性 38
3.2.4 NDarray數(shù)據(jù)類型 39
3.2.5 NDarray數(shù)組切片 40
3.2.6 NDarray高級索引 41
3.2.7 NDarray數(shù)組翻轉(zhuǎn) 42
3.2.8 NDarray數(shù)組連接 43
3.2.9 NDarray數(shù)組分裂 44
3.2.10 NDarray數(shù)組計算 44
3.3 pandas庫 45
3.3.1 pandas庫安裝驗證 45
3.3.2 pandas庫數(shù)據(jù)結(jié)構(gòu) 46
3.3.3 DataFrame創(chuàng)建 47
3.3.4 DataFrame屬性 49
3.3.5 DataFrame讀取 50
3.3.6 DataFrame時間序列操作 51
3.3.7 DataFrame修改表結(jié)構(gòu) 52
3.3.8 DataFrame篩選數(shù)據(jù) 53
3.3.9 DataFrame分組統(tǒng)計 54
3.4 matplotlib庫 56
3.4.1 matplotlib庫安裝驗證 56
3.4.2 繪制函數(shù) 56
3.4.3 線條的設(shè)置 58
3.4.4 坐標軸的設(shè)置 60
3.4.5 圖例的設(shè)置 62
3.5 pyecharts庫 65
3.5.1 pyecharts庫安裝驗證 65
3.5.2 繪制圖表 65
3.5.3 配置項 67
3.5.4 Web框架整合 70
3.5.5 繪制組合圖表 73
小結(jié) 75
習題 76
第4章 數(shù)據(jù)采集與預處理 77
4.1 數(shù)據(jù)采集 77
4.2 數(shù)據(jù)的描述性統(tǒng)計 78
4.2.1 集中趨勢度量 78
4.2.2 離散趨勢度量 80
4.3 數(shù)據(jù)預處理 83
4.3.1 數(shù)據(jù)預處理概述 83
4.3.2 數(shù)據(jù)清洗 83
4.3.3 數(shù)據(jù)集成 86
4.3.4 數(shù)據(jù)變換 88
4.3.5 數(shù)據(jù)歸約 91
4.4 數(shù)據(jù)存儲 92
4.4.1 TXT、Excel、CSV 92
4.4.2 數(shù)據(jù)庫 95
4.4.3 云存儲 98
4.4.4 數(shù)據(jù)倉庫 100
小結(jié) 101
習題 102
第5章 網(wǎng)絡(luò)爬蟲技術(shù) 103
5.1 初識網(wǎng)絡(luò)爬蟲 103
5.1.1 網(wǎng)絡(luò)爬蟲概述 103
5.1.2 網(wǎng)絡(luò)爬蟲分類 104
5.1.3 網(wǎng)絡(luò)爬蟲原理 105
5.1.4 網(wǎng)絡(luò)爬蟲約束 106
5.2 Web前端 107
5.2.1 HTTP基本原理 107
5.2.2 HTML語言 111
5.2.3 CSS層疊樣式表 115
5.2.4 JavaScript動態(tài)腳本語言 116
5.3 數(shù)據(jù)請求庫requests 117
5.3.1 GET請求 118
5.3.2 POST請求 120
5.3.3 添加請求頭headers 121
5.3.4 超時設(shè)置 121
5.4 數(shù)據(jù)解析庫Xpath 122
5.4.1 Xpath概述 122
5.4.2 Xpath常用路徑表達式 122
5.4.3 Xpath解析HTML 123
5.4.4 Xpath獲取節(jié)點 125
5.4.5 Xpath獲取文本 126
5.4.6 Xpath屬性匹配 126
5.5 正則表達式 127
5.5.1 匹配規(guī)則 128
5.5.2 查找一個匹配項 129
5.5.3 查找多個匹配項 129
5.5.4 分割字符串 130
5.5.5 替換字符串 131
5.5.6 正則表達式對象 132
5.6 爬蟲實戰(zhàn)：豆瓣電影Top 250 132
小結(jié) 136
習題 137
第6章 數(shù)據(jù)挖掘基礎(chǔ)算法 138
6.1 機器學習概述 138
6.1.1 機器學習的定義 138
6.1.2 機器學習的一般方法 140
6.1.3 機器學習的分類 141
6.1.4 過擬合與欠擬合 142
6.1.5 機器學習性能評估 143
6.1.6 scikit-learn簡介 146
6.2 回歸分析 147
6.2.1 回歸分析概述 147
6.2.2 簡單線性回歸 148
6.2.3 多元線性回歸 150
6.2.4 邏輯回歸 152
6.3 分類分析 154
6.3.1 分類分析概述 155
6.3.2 基于規(guī)則的分類 156
6.3.3 基于最近鄰的分類 158
6.3.4 決策樹分類 160
6.3.5 貝葉斯分類 163
6.3.6 支持向量機分類 166
6.3.7 隨機森林分類 168
6.3.8 人工神經(jīng)網(wǎng)絡(luò) 170
6.4 聚類分析 171
6.4.1 聚類分析概述 172
6.4.2 K-means聚類 173
6.4.3 DBSCAN聚類 176
6.5 關(guān)聯(lián)分析 179
6.5.1 關(guān)聯(lián)分析概述 179
6.5.2 關(guān)聯(lián)分析的概念及流程 180
6.5.3 Apriori算法原理 182
6.5.4 Apriori算法實現(xiàn) 184
小結(jié) 186
習題 187
第7章 文本挖掘技術(shù) 188
7.1 文本挖掘概述 188
7.1.1 文本數(shù)據(jù)的概念 188
7.1.2 自然語言處理技術(shù)概述 189
7.1.3 文本挖掘的定義和難點 190
7.1.4 文本挖掘的過程 192
7.1.5 算法常用庫的介紹 193
7.2 數(shù)據(jù)預處理 194
7.2.1 中文分詞 194
7.2.2 數(shù)據(jù)清洗 196
7.2.3 詞性標注 199
7.2.4 特征詞選擇和權(quán)重 199
7.3 情感分析 200
7.3.1 情感分析概述 200
7.3.2 情感分析Python實現(xiàn)——SnowNLP庫與樸素貝葉斯算法 201
7.4 主題挖掘 202
7.4.1 主題挖掘概述 203
7.4.2 主題挖掘Python實現(xiàn)——LDA模型 204
小結(jié) 209
習題 209
第8章 深度學習 211
8.1 神經(jīng)網(wǎng)絡(luò) 211
8.1.1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 211
8.1.2 反向傳播算法 214
8.1.3 深度學習的興起 217
8.2 卷積神經(jīng)網(wǎng)絡(luò) 218
8.2.1 從全連接層到卷積 218
8.2.2 卷積神經(jīng)網(wǎng)絡(luò)的特性 219
8.2.3 經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型 222
8.2.4 基于PyTorch的實現(xiàn) 224
8.3 循環(huán)神經(jīng)網(wǎng)絡(luò) 228
8.3.1 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 228
8.3.2 長短期記憶 230
8.3.3 門控循環(huán)單元 232
8.3.4 基于PyTorch的實現(xiàn) 233
8.4 圖神經(jīng)網(wǎng)絡(luò) 237
8.4.1 圖基礎(chǔ)知識 237
8.4.2 圖神經(jīng)網(wǎng)絡(luò)模型 239
8.4.3 基于PyTorch的實現(xiàn) 242
小結(jié) 243
習題 244
參考文獻 245
書單推薦
