項目一 大數(shù)據(jù)采集認知 001
任務1.1 開始大數(shù)據(jù)采集認知 002
1.1.1 任務描述 002
1.1.2 知識準備 002
1.1.3 任務效果 007
任務1.2 了解大數(shù)據(jù)采集平臺 007
1.2.1 任務描述 007
1.2.2 知識準備 008
1.2.3 任務實施 009
1.2.4 任務效果 021
任務1.3 認識大數(shù)據(jù)預處理 021
1.3.1 任務描述 021
1.3.2 知識準備 022
1.3.3 任務實施 022
1.3.4 任務效果 033
任務1.4 了解大數(shù)據(jù)預處理常用工具 034
1.4.1 任務描述 034
1.4.2 任務實施 035
1.4.3 任務效果 042
項目小結 043
習題 044
項目二 使用Apache Flume采集日志數(shù)據(jù) 045
任務2.1 Windows環(huán)境下的Apache Flume環(huán)境搭建 046
2.1.1 任務描述 046
2.1.2 知識準備 046
2.1.3 任務實施 060
2.1.4 任務效果 067
任務2.2 Apache Flume數(shù)據(jù)采集案例 067
2.2.1 任務描述 067
2.2.2 任務實施 068
項目小結 071
習題 072
項目三 使用Logstash采集日志數(shù)據(jù) 074
任務3.1 Logstash工具安裝 075
3.1.1 任務描述 075
3.1.2 知識準備 075
3.1.3 任務實施 089
3.1.4 任務效果 093
任務3.2 Logstash數(shù)據(jù)采集工作 094
3.2.1 任務描述 094
3.2.2 任務實施 095
3.2.3 任務效果 097
項目小結 097
習題 098
項目四 使用爬蟲工具完成網頁數(shù)據(jù)獲取 099
任務4.1 使用Web Scraper完成列車時刻表數(shù)據(jù)采集工作 100
4.1.1 任務描述 100
4.1.2 任務知識準備 100
4.1.3 任務實施 107
4.1.4 任務效果 115
任務4.2 使用八爪魚工具采集數(shù)據(jù) 115
4.2.1 任務描述 115
4.2.2 知識準備 116
4.2.3 任務實施 117
4.2.4 任務效果 123
項目小結 123
習題 124
項目五 完成招聘數(shù)據(jù)預處理 125
任務5.1 使用OpenRefine完成數(shù)據(jù)清洗任務 126
5.1.1 任務描述 126
5.1.2 任務實施 126
5.1.3 任務效果 137
任務5.2 使用Kettle完成數(shù)據(jù)集成任務 138
5.2.1 任務描述 138
5.2.2 任務實施 138
5.2.3 任務效果 158
項目小結 159
習題 159
項目六 數(shù)據(jù)可視化處理 161
任務6.1 數(shù)據(jù)可視化認知 162
6.1.1 任務描述 162
6.1.2 知識準備 162
6.1.3 任務效果 167
任務6.2 熟悉Echarts數(shù)據(jù)可視化 167
6.2.1 任務描述 167
6.2.2 知識準備 168
6.2.3 任務實施 169
任務6.2.3 任務效果 183
任務6.3 使用Tableau Desktop完成數(shù)據(jù)可視化任務 183
6.3.1 任務描述 183
6.3.2 知識準備 183
6.3.3 任務實施 187
6.3.4 任務效果 197
項目小結 198
習題 198
項目七 數(shù)據(jù)標注 199
預備知識 200
任務7.1 安裝Labelme圖像標注工具 201
7.1.1 任務描述 201
7.1.2 知識準備 202
7.1.3 任務實施 203
任務7.2 使用Labelme標注工具完成數(shù)據(jù)標注任務 206
7.2.1 任務描述 206
7.2.2 知識準備 206
7.2.3 任務實施 207
項目小結 221
習題 221