基礎篇
第 1章 數據挖掘基礎 1
1.1 數據挖掘發(fā)展史 1
1.2 數據挖掘的常用方法 2
1.3 數據挖掘的通用流程 2
1.3.1 目標分析 2
1.3.2 數據抽取 2
1.3.3 數據探索 3
1.3.4 數據預處理 3
1.3.5 分析與建模 4
1.3.6 模型評價 4
1.4 常用數據挖掘工具 4
1.5 Python數據挖掘環(huán)境配置 5
小結 7
課后習題 7
第 2章 Python數據挖掘編程基礎 9
2.1 Python使用入門 9
2.1.1 基本命令 9
2.1.2 判斷與循環(huán) 12
2.1.3 函數 13
2.1.4 庫的導入與添加 15
2.2 Python數據分析預處理的常用庫 17
2.2.1 NumPy 17
2.2.2 pandas 17
2.2.3 Matplotlib 18
2.3 Python數據挖掘建模的常用庫和框架 18
2.3.1 scikit-learn 18
2.3.2 深度學習框架 19
2.3.3 其他 21
小結 22
實訓 判斷、函數、類型轉換的使用 22
課后習題 23
第3章 數據探索 24
3.1 數據校驗 24
3.1.1 一致性校驗 24
3.1.2 缺失值校驗 27
3.1.3 異常值校驗 29
3.2 數據特征分析 33
3.2.1 描述性統(tǒng)計分析 33
3.2.2 分布分析 36
3.2.3 對比分析 40
3.2.4 周期性分析 43
3.2.5 貢獻度分析 44
3.2.6 相關性分析 45
小結 48
實訓 48
實訓1 分布分析、描述性統(tǒng)計分析和貢獻度分析 48
實訓2 對比分析、相關性分析和周期性分析 49
課后習題 50
第4章 數據預處理 52
4.1 數據清洗 52
4.1.1 重復值處理 52
4.1.2 缺失值處理 55
4.1.3 異常值處理 57
4.2 數據變換 58
4.2.1 簡單函數變換 58
4.2.2 數據標準化 58
4.2.3 數據離散化 61
4.2.4 獨熱編碼 63
4.3 數據合并 65
4.3.1 多表合并 65
4.3.2 分組聚合 72
小結 80
實訓 80
實訓1 數據清洗 80
實訓2 數據變換 82
實訓3 數據合并 82
課后習題 82
第5章 數據挖掘算法基礎 84
5.1 分類與回歸 84
5.1.1 常用的分類與回歸算法 84
5.1.2 分類與回歸模型評價 85
5.1.3 線性模型 89
5.1.4 決策樹 93
5.1.5 最近鄰分類 97
5.1.6 支持向量機 99
5.1.7 神經網絡 101
5.1.8 集成算法 107
5.2 聚類 112
5.2.1 常用的聚類算法 112
5.2.2 聚類模型評價 114
5.2.3 K-Means算法 115
5.2.4 密度聚類 120
5.2.5 層次聚類 123
5.3 關聯規(guī)則 126
5.3.1 常用關聯規(guī)則算法 126
5.3.2 Apriori算法 127
5.4 智能推薦 131
5.4.1 常用智能推薦算法 131
5.4.2 智能推薦模型評價 132
5.4.3 協同過濾推薦算法 133
5.4.4 基于流行度的推薦算法 138
5.5 時間序列 139
5.5.1 時間序列算法 140
5.5.2 時間序列的預處理 140
5.5.3 平穩(wěn)序列分析 142
5.5.4 非平穩(wěn)序列分析 144
實訓 152
實訓1 使用分類算法實現客戶流失預測 152
實訓2 使用K-Means聚類算法實現超市顧客聚類分析 152
實訓3 使用Apriori算法挖掘網址間的相關關系 153
實訓4 使用協同過濾推薦算法實現對用戶進行品牌的個性化推薦 153
實訓5 使用ARIMA算法實現氣溫預測 154
課后習題 155
實戰(zhàn)篇
第6章 信用卡高風險客戶識別 158
6.1 背景與目標 158
6.1.1 背景 158
6.1.2 數據說明 159
6.1.3 目標 160
6.2 數據探索 161
6.2.1 描述性統(tǒng)計分析 161
6.2.2 客戶歷史信用記錄 162
6.2.3 客戶經濟情況 164
6.2.4 客戶經濟風險情況 166
6.3 數據預處理 169
6.3.1 數據清洗 169
6.3.2 屬性構造 171
6.4 分析與建模 174
6.4.1 參數尋優(yōu) 174
6.4.2 構建聚類模型 176
6.4.3 信用卡客戶風險分析 176
6.5 模型評價 179
小結 180
實訓 使用K-Means聚類算法實現運營商客戶價值分析 180
課后習題 181
第7章 餐飲企業(yè)菜品關聯分析 182
7.1 背景與目標 182
7.1.1 背景 182
7.1.2 數據說明 183
7.1.3 目標 185
7.2 數據探索 185
7.2.1 分析每日用餐人數和營業(yè)額 185
7.2.2 分析菜品熱銷度 187
7.3 數據預處理 189
7.3.1 數據清洗 189
7.3.2 屬性構造 190
7.4 分析與建模 191
7.4.1 構建Apriori模型 191
7.4.2 訓練模型 193
7.5 模型評價 194
小結 196
實訓 西餅屋訂單關聯分析 197
課后習題 197
第8章 金融服務機構資金流量預測 198
8.1 背景與目標 198
8.1.1 背景 198
8.1.2 數據說明 199
8.1.3 目標 200
8.2 數據預處理 201
8.2.1 屬性構造 201
8.2.2 截取平穩(wěn)部分數據 202
8.2.3 周期性差分 204
8.2.4 平穩(wěn)性檢驗和白噪聲檢驗 205
8.3 分析與建模 205
8.3.1 時間序列模型的定階 205
8.3.2 模型檢驗 206
8.4 模型評價 207
小結 209
實訓 構建ARIMA模型預測資金贖回數據 210
課后習題 210
第9章 O2O優(yōu)惠券使用預測 211
9.1 背景與目標 211
9.1.1 背景 211
9.1.2 數據說明 212
9.1.3 目標 212
9.2 數據探索 213
9.2.1 描述性統(tǒng)計分析 213
9.2.2 分析優(yōu)惠形式信息 215
9.2.3 分析用戶消費行為信息 216
9.2.4 分析商戶投放優(yōu)惠券信息 218
9.3 數據預處理 221
9.3.1 數據清洗 221
9.3.2 數據變換 222
9.4 分析與建模 225
9.4.1 決策樹分類模型 225
9.4.2 梯度提升分類模型 227
9.4.3 XGBoost分類模型 228
9.5 模型評價 229
小結 232
實訓 運營商客戶流失預測 232
課后習題 233
第 10章 電視產品個性化推薦 235
10.1 背景與目標 235
10.1.1 背景 235
10.1.2 數據說明 236
10.1.3 目標 237
10.2 數據預處理 238
10.2.1 數據清洗 238
10.2.2 數據探索 241
10.2.3 屬性構造 248
10.3 分析與建模 251
10.3.1 基于物品的協同過濾推薦模型 252
10.3.2 基于流行度的推薦模型 254
10.4 模型評價 255
小結 257
實訓 網頁瀏覽個性化推薦 257
課后習題 258
第 11章 基于TipDM大數據挖掘建模平臺實現金融服務機構資金流量預測 259
11.1 平臺簡介 259
11.1.1 實訓庫 261
11.1.2 數據連接 261
11.1.3 實訓數據 261
11.1.4 我的實訓 262
11.1.5 系統(tǒng)算法 262
11.1.6 個人算法 264
11.2 快速構建金融服務機構資金流量預測實訓 265
11.2.1 數據源配置 266
11.2.2 屬性構造 267
11.2.3 數據篩選 271
11.2.4 周期性差分 272
11.2.5 序列檢驗 274
11.2.6 分析與建模 276
小結 279
實訓 構建ARIMA模型預測航空公司乘客量數據 279
課后習題 279