版權(quán)聲明

獻(xiàn)詞

譯者序

第　1章 數(shù)據(jù)分析簡介　1

1.1　數(shù)據(jù)分析　1

1.2　數(shù)據(jù)分析師的知識范疇　2

1.2.1　計算機(jī)科學(xué)　2

1.2.2　數(shù)學(xué)和統(tǒng)計學(xué)　3

1.2.3　機(jī)器學(xué)習(xí)和人工智能　3

1.2.4　數(shù)據(jù)來源領(lǐng)域　3

1.3　理解數(shù)據(jù)的性質(zhì)　4

1.3.1　數(shù)據(jù)到信息的轉(zhuǎn)變　4

1.3.2　信息到知識的轉(zhuǎn)變　4

1.3.3　數(shù)據(jù)的類型　4

1.4　數(shù)據(jù)分析過程　4

1.4.1　問題定義　5

1.4.2　數(shù)據(jù)抽取　6

1.4.3　數(shù)據(jù)準(zhǔn)備　6

1.4.4　數(shù)據(jù)探索和可視化　7

1.4.5　預(yù)測建�！�7

1.4.6　模型驗證　8

1.4.7　部署　8

1.5　定量和定性數(shù)據(jù)分析　9

1.6　開放數(shù)據(jù)　9

1.7　Python和數(shù)據(jù)分析　10

1.8　結(jié)論　11

第　2章 Python世界簡介　12

2.1　Python編程語言　12

2.2　Python 2和Python 3　14

2.2.1　安裝Python　15

2.2.2　Python發(fā)行版　15

2.2.3　使用Python　17

2.2.4　編寫Python代碼　18

2.2.5　IPython　22

2.3　PyPI倉庫Python包索引　25

2.4　SciPy　29

2.4.1　NumPy　29

2.4.2　pandas　29

2.4.3　matplotlib　30

2.5　小結(jié)　30

第3章　NumPy庫　31

3.1　NumPy簡史　31

3.2　NumPy安裝　31

3.3　ndarray：NumPy庫的心臟　32

3.3.1　創(chuàng)建數(shù)組　33

3.3.2　數(shù)據(jù)類型　34

3.3.3　dtype選項　34

3.3.4　自帶的數(shù)組創(chuàng)建方法　35

3.4　基本操作　36

3.4.1　算術(shù)運(yùn)算符　36

3.4.2　矩陣積　37

3.4.3　自增和自減運(yùn)算符　38

3.4.4　通用函數(shù)　39

3.4.5　聚合函數(shù)　39

3.5　索引機(jī)制、切片和迭代方法　40

3.5.1　索引機(jī)制　40

3.5.2　切片操作　41

3.5.3　數(shù)組迭代　42

3.6　條件和布爾數(shù)組　44

3.7　形狀變換　44

3.8　數(shù)組操作　45

3.8.1　連接數(shù)組　45

3.8.2　數(shù)組切分　46

3.9　常用概念　48

3.9.1　對象的副本或視圖　48

3.9.2　向量化　48

3.9.3　廣播機(jī)制　49

3.10　結(jié)構(gòu)化數(shù)組　51

3.11　數(shù)組數(shù)據(jù)文件的讀寫　52

3.11.1　二進(jìn)制文件的讀寫　53

3.11.2　讀取文件中的列表形式數(shù)據(jù)　53

3.12　小結(jié)　54

第4章pandas庫簡介　55

4.1　pandas：Python數(shù)據(jù)分析庫　55

4.2　安裝pandas　56

4.2.1　用Anaconda安裝　56

4.2.2　用PyPI安裝　56

4.2.3　在Linux系統(tǒng)的安裝方法　57

4.2.4　用源代碼安裝　57

4.2.5　Windows模塊倉庫　57

4.3　測試pandas是否安裝成功　57

4.4　開始pandas之旅　58

4.5　pandas數(shù)據(jù)結(jié)構(gòu)簡介　58

4.5.1　Series對象　59

4.5.2　DataFrame對象　65

4.5.3　Index對象　71

4.6　索引對象的其他功能　72

4.6.1　更換索引　72

4.6.2　刪除　74

4.6.3　算術(shù)和數(shù)據(jù)對齊　75

4.7　數(shù)據(jù)結(jié)構(gòu)之間的運(yùn)算　76

4.7.1　靈活的算術(shù)運(yùn)算方法　76

4.7.2　DataFrame和Series對象之間的運(yùn)算　77

4.8　函數(shù)應(yīng)用和映射　78

4.8.1　操作元素的函數(shù)　78

4.8.2　按行或列執(zhí)行操作的函數(shù)　78

4.8.3　統(tǒng)計函數(shù)　79

4.9　排序和排位次　80

4.10　相關(guān)性和協(xié)方差　82

4.11　NaN數(shù)據(jù)　84

4.11.1　為元素賦NaN值　84

4.11.2　過濾NaN　84

4.11.3　為NaN元素填充其他值　85

4.12　等級索引和分級　85

4.12.1　重新調(diào)整順序和為層級排序　87

4.12.2　按層級統(tǒng)計數(shù)據(jù)　88

4.13　小結(jié)　88

第5章　pandas：數(shù)據(jù)讀寫　89

5.1　I/O API工具　89

5.2　CSV和文本文件　90

5.3　讀取CSV或文本文件中的數(shù)據(jù)　90

5.3.1　用RegExp解析TXT文件　92

5.3.2　從TXT文件讀取部分?jǐn)?shù)據(jù)　94

5.3.3　將數(shù)據(jù)寫入CSV文件　94

5.4　讀寫HTML文件　96

5.4.1　寫入數(shù)據(jù)到HTML文件　96

5.4.2　從HTML文件讀取數(shù)據(jù)　98

5.5　從XML讀取數(shù)據(jù)　99

5.6　讀寫Microsoft Excel文件　101

5.7　JSON數(shù)據(jù)　102

5.8　HDF5格式　105

5.9　picklePython對象序列化　106

5.9.1　用cPickle實(shí)現(xiàn)Python對象序列化　106

5.9.2　用pandas實(shí)現(xiàn)對象序列化　107

5.10　對接數(shù)據(jù)庫　108

5.10.1　SQLite3數(shù)據(jù)讀寫　108

5.10.2　PostgreSQL數(shù)據(jù)讀寫　110

5.11　NoSQL數(shù)據(jù)庫MongoDB數(shù)據(jù)讀寫　112

5.12　小結(jié)　113

第6章　深入pandas：數(shù)據(jù)處理　114

6.1　數(shù)據(jù)準(zhǔn)備　114

合并　115

6.2　拼接　118

6.2.1　組合　121

6.2.2　軸向旋轉(zhuǎn)　122

6.2.3　刪除　124

6.3　數(shù)據(jù)轉(zhuǎn)換　124

6.3.1　刪除重復(fù)元素　125

6.3.2　映射　125

6.4　離散化和面元劃分　129

6.5　排序　133

6.6　字符串處理　134

6.6.1　內(nèi)置的字符串處理方法　134

6.6.2　正則表達(dá)式　135

6.7　數(shù)據(jù)聚合　137

6.7.1　GroupBy　137

6.7.2　實(shí)例　138

6.7.3　等級分組　139

6.8　組迭代　140

6.8.1　鏈?zhǔn)睫D(zhuǎn)換　140

6.8.2　分組函數(shù)　141

6.9　高級數(shù)據(jù)聚合　142

6.10　小結(jié)　145

第7章　用matplotlib實(shí)現(xiàn)數(shù)據(jù)可視化　146

7.1　matplotlib庫　146

7.2　安裝　147

7.3　IPython和Jupyter QtConsole　147

7.4　matplotlib架構(gòu)　148

7.4.1　Backend層　149

7.4.2　Artist層　149

7.4.3　Scripting層（pyplot）　150

7.4.4　pylab和pyplot　150

7.5　pyplot　151

7.6　繪圖窗口　152

7.6.1　設(shè)置圖形的屬性　153

7.6.2　matplotlib和NumPy　155

7.7　使用kwargs　157

7.8　為圖表添加更多元素　159

7.8.1　添加文本　159

7.8.2　添加網(wǎng)格　162

7.8.3　添加圖例　163

7.9　保存圖表　165

7.9.1　保存代碼　165

7.9.2　將會話轉(zhuǎn)換為HTML文件　167

7.9.3　將圖表直接保存為圖片　168

7.10　處理日期值　168

7.11　圖表類型　170

7.12　線性圖　170

7.13　直方圖　177

7.14　條狀圖　178

7.14.1　水平條狀圖　180

7.14.2　多序列條狀圖　181

7.14.3　為pandas DataFrame生成多序列條狀圖　182

7.14.4　多序列堆積條狀圖　183

7.14.5　為pandas DataFrame繪制堆積條狀圖　186

7.14.6　其他條狀圖　187

7.15　餅圖　187

7.16　高級圖表　190

7.16.1　等值線圖　190

7.16.2　極區(qū)圖　192

7.17　mplot3d工具集　194

7.17.1　3D曲面　194

7.17.2　3D散點(diǎn)圖　195

7.17.3　3D條狀圖　196

7.18　多面板圖形　197

7.18.1　在其他子圖中顯示子圖　197

7.18.2　子圖網(wǎng)格　199

7.19　小結(jié)　200

第8章　用scikit-learn庫實(shí)現(xiàn)機(jī)器學(xué)習(xí)　201

8.1　scikit-learn庫　201

8.2　機(jī)器學(xué)習(xí)　201

8.2.1　有監(jiān)督和無監(jiān)督學(xué)習(xí)　201

8.2.2　訓(xùn)練集和測試集　202

8.3　用 scikit-learn實(shí)現(xiàn)有監(jiān)督學(xué)習(xí)　202

8.4　Iris數(shù)據(jù)集　202

8.5　K-近鄰分類器　207

8.6　Diabetes數(shù)據(jù)集　210

8.7　線性回歸：最小平方回歸　211

8.8　支持向量機(jī)　214

8.8.1　支持向量分類　215

8.8.2　非線性 SVC　218

8.8.3　繪制SVM分類器對Iris數(shù)據(jù)集的分類效果圖　220

8.8.4　支持向量回歸　222

8.9　小結(jié)　224

第9章　用TensorFlow庫實(shí)現(xiàn)深度學(xué)習(xí)　225

9.1　人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)　225

9.1.1　人工智能　225

9.1.2　機(jī)器學(xué)習(xí)是人工智能的分支　226

9.1.3　深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的分支　226

9.1.4　人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的關(guān)系　226

9.2　深度學(xué)習(xí)　227

9.2.1　神經(jīng)網(wǎng)絡(luò)和GPU　227

9.2.2　數(shù)據(jù)可用：開源數(shù)據(jù)資源、物聯(lián)網(wǎng)和大數(shù)據(jù)　228

9.2.3　Python　228

9.2.4　Python深度學(xué)習(xí)框架　228

9.3　人工神經(jīng)網(wǎng)絡(luò)　229

9.3.1　人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)　229

9.3.2　單層感知器　230

9.3.3　多層感知器　232

9.3.4　人工神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)的一致性　232

9.4　TensorFlow　233

9.4.1　TensorFlow：Google開發(fā)的框架　233

9.4.2　TensorFlow：數(shù)據(jù)流圖　233

9.5　開始TensorFlow 編程　234

9.5.1　安裝TensorFlow　234

9.5.2　Jupyter QtConsole編程　234

9.5.3　TensorFlow的模型和會話　234

9.5.4　張量　236

9.5.5　張量運(yùn)算　238

9.6　用 TensorFlow實(shí)現(xiàn)SLP　239

9.6.1　開始之前　239

9.6.2　待分析的數(shù)據(jù)　239

9.6.3　SLP模型定義　241

9.6.4　學(xué)習(xí)階段　243

9.6.5　測試階段和正確率估計　246

9.7　用TensorFlow實(shí)現(xiàn)MLP（含一個隱含層）　248

9.7.1　MLP模型的定義　249

9.7.2　學(xué)習(xí)階段　250

9.7.3　測試階段和正確率計算　253

9.8　用TensorFlow實(shí)現(xiàn)多層感知器（含兩個隱含層）　255

9.8.1　測試階段和正確率計算　259

9.8.2　實(shí)驗數(shù)據(jù)評估　260

9.9　小結(jié)　262

第　10章 數(shù)據(jù)分析實(shí)例氣象數(shù)據(jù)　263

10.1　待檢驗的假設(shè)：靠海對氣候的影響　263

10.2　數(shù)據(jù)源　265

10.3　用Jupyter Notebook分析數(shù)據(jù)　266

10.4　分析預(yù)處理過的氣象數(shù)據(jù)　269

10.5　風(fēng)向頻率玫瑰圖　279

10.5　小結(jié)　283

第　11章 Jupyter Notebook 內(nèi)嵌

JavaScript庫D3　284

11.1　開放的人口數(shù)據(jù)源　284

11.2　JavaScript庫D3　286

11.3　繪制簇狀條狀圖　290

11.4　地區(qū)分布圖　293

11.5　2014年美國人口地區(qū)分布圖　296

11.6　小結(jié)　300

第　12章 識別手寫體數(shù)字　301

12.1　手寫體識別　301

12.2　用scikit-learn識別手寫體數(shù)字　301

12.3　Digits數(shù)據(jù)集　302

12.4　使用估計器學(xué)習(xí)并預(yù)測　304

12.5　用TensorFlow識別手寫體數(shù)字　306

12.6　使用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)并預(yù)測　307

12.7　小結(jié)　310

第　13章 用NLTK分析文本數(shù)據(jù)　311

13.1　文本分析技術(shù)　311

13.1.1　自然語言處理工具集　311

13.1.2　導(dǎo)入NLTK庫和NLTK下載器　312

13.1.3　在NLTK語料庫檢索單詞　314

13.1.4　分析詞頻　315

13.1.5　從文本選擇單詞　317

13.1.6　二元組和搭配　318

13.2　網(wǎng)絡(luò)文本數(shù)據(jù)的應(yīng)用　319

13.2.1　從HTML文檔抽取文本　320

13.2.2　情感分析　320

13.3　小結(jié)　322

第　14章 用OpenCV庫實(shí)現(xiàn)圖像分析和視覺計算　323

14.1　圖像分析和計算視覺　323

14.2　OpenCV和Python　324

14.3　OpenCV和深度學(xué)習(xí)　324

14.4　安裝OpenCV　324

14.5　圖像處理和分析的第 1類方法　324

14.5.1　開始之前　324

14.5.2　加載和顯示圖像　325

14.5.3　圖像處理　326

14.5.4　保存新圖　327

14.5.5　圖像的基本操作　327

14.5.6　圖像混合　330

14.6　圖像分析　331

14.7　邊緣檢測和圖像梯度分析　332

14.7.1　邊緣檢測　332

14.7.2　圖像梯度理論　332

14.7.3　用梯度分析檢測圖像邊緣示例　333

14.8　深度學(xué)習(xí)示例：面部識別　337

14.9　小結(jié)　339

附錄A　用LaTeX編寫數(shù)學(xué)表達(dá)式　340

附錄B　開放數(shù)據(jù)源　350