為什么要寫這本書
LinkedIn通過(guò)對(duì)全球超過(guò)3.3億用戶的工作經(jīng)歷和技能進(jìn)行分析后得出，在目前炙手可熱的25項(xiàng)技能中，數(shù)據(jù)挖掘人才需求排名第一。那么數(shù)據(jù)挖掘是什么呢？
數(shù)據(jù)挖掘是從大量數(shù)據(jù)（包括文本）中挖掘出隱含的、先前未知的、對(duì)決策有潛在價(jià)值的關(guān)系、模式和趨勢(shì)，并用這些知識(shí)和規(guī)則建立用于決策支持的模型，提供預(yù)測(cè)性決策支持的方法、工具和過(guò)程。數(shù)據(jù)挖掘有助于企業(yè)發(fā)現(xiàn)業(yè)務(wù)的趨勢(shì)，揭示已知的事實(shí)，預(yù)測(cè)未知的結(jié)果，因此，數(shù)據(jù)挖掘已成為企業(yè)保持競(jìng)爭(zhēng)力的必要方法。
與國(guó)外相比，我國(guó)信息化程度仍不算高，企業(yè)內(nèi)部信息也不完整，零售、銀行、保險(xiǎn)、證券等行業(yè)對(duì)數(shù)據(jù)挖掘的應(yīng)用還不太理想。但隨著市場(chǎng)競(jìng)爭(zhēng)的加劇，各行業(yè)對(duì)數(shù)據(jù)挖掘技術(shù)的需求越來(lái)越強(qiáng)烈，可以預(yù)計(jì)，未來(lái)幾年各行業(yè)的數(shù)據(jù)分析應(yīng)用一定會(huì)從傳統(tǒng)的統(tǒng)計(jì)分析發(fā)展到大規(guī)模的數(shù)據(jù)挖掘應(yīng)用。在大數(shù)據(jù)時(shí)代，數(shù)據(jù)過(guò)剩、人才短缺，數(shù)據(jù)挖掘?qū)�業(yè)人才的培養(yǎng)將離不開(kāi)專業(yè)知識(shí)和職業(yè)經(jīng)驗(yàn)積累。所以，本書注重?cái)?shù)據(jù)挖掘理論與項(xiàng)目案例實(shí)踐相結(jié)合，讓讀者獲得真實(shí)的數(shù)據(jù)挖掘?qū)W習(xí)與實(shí)踐環(huán)境，更快、更好地學(xué)習(xí)數(shù)據(jù)挖掘知識(shí)并積累職業(yè)經(jīng)驗(yàn)。
總的來(lái)說(shuō)，隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)技術(shù)將具有越來(lái)越重要的戰(zhàn)略意義。大數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)要素，人們對(duì)于海量數(shù)據(jù)的運(yùn)用將預(yù)示著新一輪生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)。大數(shù)據(jù)分析技術(shù)將幫助企業(yè)用戶在合理的時(shí)間內(nèi)攫取、管理、處理、整理海量數(shù)據(jù)，為企業(yè)經(jīng)營(yíng)決策提供積極幫助。大數(shù)據(jù)分析作為數(shù)據(jù)存儲(chǔ)和挖掘分析的前沿技術(shù)，廣泛應(yīng)用于物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等戰(zhàn)略性新興產(chǎn)業(yè)。雖然目前大數(shù)據(jù)在國(guó)內(nèi)還處于初級(jí)階段，但是其商業(yè)價(jià)值已經(jīng)顯現(xiàn)出來(lái)，特別是有實(shí)踐經(jīng)驗(yàn)的大數(shù)據(jù)分析人才更是各企業(yè)爭(zhēng)奪的焦點(diǎn)。為了滿足日益增長(zhǎng)的大數(shù)據(jù)分析人才需求，很多高校開(kāi)始嘗試開(kāi)設(shè)不同程度的大數(shù)據(jù)分析課程。大數(shù)據(jù)分析作為大數(shù)據(jù)時(shí)代的核心技術(shù)，必將成為高校數(shù)學(xué)與統(tǒng)計(jì)學(xué)專業(yè)的重要課程之一。
第2版與第1版的區(qū)別
本書在第1版的基礎(chǔ)上進(jìn)行了代碼與內(nèi)容的全方位升級(jí)。在代碼方面，將整書代碼由Python 2升級(jí)至Python 3.6。在內(nèi)容方面，對(duì)基礎(chǔ)篇和實(shí)戰(zhàn)篇均做了升級(jí)。
基礎(chǔ)篇具體升級(jí)內(nèi)容如下。
第1章增加了章節(jié)的引言；修改了1.5節(jié)中對(duì)TipDM開(kāi)源數(shù)據(jù)挖掘建模平臺(tái)的介紹。
第2章修改了2.4節(jié)中對(duì)配套附件的說(shuō)明。
第3章增加3.2節(jié)所有圖形繪制的代碼。
第4章修改了4.1.1節(jié)中對(duì)牛頓插值法原理的描述。
第5章修改了5.1.3節(jié)中對(duì)邏輯回歸模型的評(píng)價(jià)和相關(guān)解釋；5.2.4節(jié)中更新了圖5-17。
實(shí)戰(zhàn)篇具體升級(jí)內(nèi)容如下。
第6章為原書第13章，新增了對(duì)Lasso回歸方法、灰色預(yù)測(cè)算法、SVR算法原理的介紹；將原書的神經(jīng)網(wǎng)絡(luò)算法改為SVR算法；刪除增值稅預(yù)測(cè)模型、營(yíng)業(yè)稅預(yù)測(cè)模型、企業(yè)所得稅預(yù)測(cè)模型、個(gè)人所得稅預(yù)測(cè)模型和政府性基金收入預(yù)測(cè)模型的內(nèi)容；修改了拓展思考。
第7章增加了章節(jié)的引言；7.2.2節(jié)增加了分布分析；7.2.3節(jié)增加了RFM模型的介紹；7.2.4節(jié)增加了客戶分群雷達(dá)圖的繪制代碼。
新增第8章商品零售購(gòu)物籃分析一章。
第9章增加了章節(jié)的引言；9.2.2節(jié)增加了數(shù)據(jù)預(yù)處理的Python實(shí)現(xiàn)代碼；9.2.3節(jié)中將原書的支持向量機(jī)算法改為決策樹(shù)算法。
第10章增加了章節(jié)的引言；原書的10.2.1數(shù)據(jù)抽取改為10.2.1數(shù)據(jù)探索分析，并增加了有無(wú)水流和水流量屬性的探索分析；10.2.2節(jié)增加了屬性構(gòu)造的Python實(shí)現(xiàn)代碼，原書數(shù)據(jù)清洗的內(nèi)容移到屬性構(gòu)造中實(shí)現(xiàn)。
第11章為原書第12章，增加了章節(jié)的引言；11.2.3節(jié)刪除了網(wǎng)頁(yè)排名的內(nèi)容；11.2.5節(jié)優(yōu)化了基于協(xié)同過(guò)濾算法的Python實(shí)現(xiàn)代碼，新增了模型評(píng)價(jià)的代碼，并修改了模型評(píng)價(jià)的描述。
第12章為原書第15章，增加了章節(jié)的引言；刪除原書15.2.1評(píng)論數(shù)據(jù)采集的內(nèi)容；12.2.1節(jié)優(yōu)化了預(yù)處理的方法，并增加了Python實(shí)現(xiàn)代碼；12.2.2節(jié)優(yōu)化了分詞的方法，并增加了Python實(shí)現(xiàn)代碼；12.2.3構(gòu)建模型修改了情感傾向分析的描述，增加了尋找最優(yōu)主題數(shù)的內(nèi)容，以及相關(guān)的Python實(shí)現(xiàn)代碼。
刪除原書第6章電力竊漏電用戶自動(dòng)識(shí)別第8章中醫(yī)證型關(guān)聯(lián)規(guī)則挖掘第11章應(yīng)用系統(tǒng)負(fù)載分析與磁盤容量預(yù)測(cè)第14章基于基站定位數(shù)據(jù)的商圈分析這4章。
此外，本版本還額外增加了提高篇，即第13章基于Python引擎的開(kāi)源數(shù)據(jù)挖掘建模平臺(tái)（TipDM），基于開(kāi)源數(shù)據(jù)挖掘建模平臺(tái)（TipDM）實(shí)現(xiàn)案例，不僅能夠幫助企業(yè)建立自己的數(shù)據(jù)挖掘平臺(tái)，而且能輔助編程能力較弱的讀者更好地理解案例。
本書特色
本書作者從實(shí)踐出發(fā)，結(jié)合大量數(shù)據(jù)挖掘工程案例及教學(xué)經(jīng)驗(yàn)，以真實(shí)案例為主線，深入淺出地介紹了數(shù)據(jù)挖掘建模過(guò)程中的有關(guān)任務(wù)：數(shù)據(jù)探索、數(shù)據(jù)預(yù)處理、分類與預(yù)測(cè)、聚類分析、時(shí)序預(yù)測(cè)、關(guān)聯(lián)規(guī)則挖掘、智能推薦、偏差檢測(cè)等。因此，本書的編排以解決某個(gè)應(yīng)用的挖掘目標(biāo)為前提，先介紹案例背景，提出挖掘目標(biāo)，再闡述分析方法與過(guò)程，最后完成模型構(gòu)建。在介紹建模的過(guò)程中同時(shí)穿插操作訓(xùn)練，把相關(guān)的知識(shí)點(diǎn)嵌入相應(yīng)的操作過(guò)程中。為方便讀者輕松獲取真實(shí)的實(shí)驗(yàn)環(huán)境，本書使用大家熟知的Python語(yǔ)言對(duì)樣本數(shù)據(jù)進(jìn)行處理，以進(jìn)行挖掘建模。
為了幫助讀者更好地使用本書，本書提供配套的原始數(shù)據(jù)文件、Python程序代碼，讀者可以從泰迪杯數(shù)據(jù)挖掘挑戰(zhàn)賽網(wǎng)站（http://www.tipdm.org/tj/1615.jhtml）免費(fèi)下載。為方便教師授課，本書還提供了PPT課件，教師可到網(wǎng)址http://www.tipdm.org/tj/840.jhtml咨詢獲取。
本書適用對(duì)象
開(kāi)設(shè)數(shù)據(jù)挖掘課程的高校的教師和學(xué)生。
目前，國(guó)內(nèi)不少高校將數(shù)據(jù)挖掘引入本科教學(xué)中，在數(shù)學(xué)、計(jì)算機(jī)、自動(dòng)化、電子信息、金融等專業(yè)開(kāi)設(shè)了數(shù)據(jù)挖掘技術(shù)的相關(guān)課程，但這一課程的教學(xué)仍然主要限于理論介紹。單純的理論教學(xué)過(guò)于抽象，學(xué)生理解起來(lái)往往比較困難，教學(xué)效果也不甚理想。本書提供的基于實(shí)戰(zhàn)案例和建模實(shí)踐的教學(xué)，能夠使師生充分發(fā)揮互動(dòng)性和創(chuàng)造性，理論聯(lián)系實(shí)際，使師生獲得最佳的教學(xué)效果。
需求分析及系統(tǒng)設(shè)計(jì)人員。
這類人員可以在理解數(shù)據(jù)挖掘原理及建模過(guò)程的基礎(chǔ)上，結(jié)合數(shù)據(jù)挖掘案例完成精確營(yíng)銷、客戶分群、交叉銷售、流失分析、客戶信用記分、欺詐發(fā)現(xiàn)、智能推薦等數(shù)據(jù)挖掘應(yīng)用的需求分析和設(shè)計(jì)。
數(shù)據(jù)挖掘開(kāi)發(fā)人員。
這類人員可以在理解數(shù)據(jù)挖掘應(yīng)用需求和設(shè)計(jì)方案的基礎(chǔ)上，結(jié)合本書提供的基于第三方接口快速完成數(shù)據(jù)挖掘應(yīng)用的編程實(shí)現(xiàn)。
從事數(shù)據(jù)挖掘應(yīng)用研究的科研人員。
許多科研院所為了更好地管理科研工作，紛紛開(kāi)發(fā)了適應(yīng)自身特點(diǎn)的科研業(yè)務(wù)管理系統(tǒng)，并在使用過(guò)程中積累了大量的科研信息數(shù)據(jù)。但是，這些科研業(yè)務(wù)管理系統(tǒng)一般沒(méi)有對(duì)數(shù)據(jù)進(jìn)行深入分析，對(duì)數(shù)據(jù)所隱藏的價(jià)值也沒(méi)有充分挖掘利用�？蒲腥藛T需要利用數(shù)據(jù)挖掘建模工具及有關(guān)方法論來(lái)深挖科研信息的價(jià)值，從而提高科研水平。
關(guān)注高級(jí)數(shù)據(jù)分析的人員。
業(yè)務(wù)報(bào)告和商業(yè)智能解決方案對(duì)有關(guān)人員了解過(guò)去和現(xiàn)在的狀況是非常有用的。同時(shí)，數(shù)據(jù)挖掘的預(yù)測(cè)分析解決方案還能使這類人員預(yù)見(jiàn)未來(lái)的發(fā)展?fàn)顩r，讓他們所在的機(jī)構(gòu)能夠先發(fā)制人，而不是處于被動(dòng)。因?yàn)閿?shù)據(jù)挖掘的預(yù)測(cè)分析解決方案將復(fù)雜的統(tǒng)計(jì)方法和機(jī)器學(xué)習(xí)技術(shù)應(yīng)用到數(shù)據(jù)之中，通過(guò)預(yù)測(cè)分析技術(shù)來(lái)揭示隱藏在交易系統(tǒng)或企業(yè)資源計(jì)劃（ERP）、結(jié)構(gòu)數(shù)據(jù)庫(kù)和普通文件中的模式和趨勢(shì)，從而為這類人員的決策提供科學(xué)依據(jù)。
如何閱讀本書
本書共13章，分為基礎(chǔ)篇、實(shí)戰(zhàn)篇、提高篇。基礎(chǔ)篇介紹了數(shù)據(jù)挖掘的基本原理；實(shí)戰(zhàn)篇介紹了一些真實(shí)案例，通過(guò)對(duì)案例深入淺出的剖析，使讀者在不知不覺(jué)中獲得數(shù)據(jù)挖掘項(xiàng)目經(jīng)驗(yàn)，同時(shí)快速領(lǐng)悟看似難懂的數(shù)據(jù)挖掘理論；提高篇介紹了一個(gè)基于Python引擎的開(kāi)源數(shù)據(jù)挖掘建模平臺(tái)，通過(guò)平臺(tái)去編程、拖曳式的操作，向讀者展示了平臺(tái)流程化的思維，使讀者加深對(duì)數(shù)據(jù)挖掘流程的理解。讀者在閱讀過(guò)程中，應(yīng)充分利用隨書配套的案例建模數(shù)據(jù)，借助相關(guān)的數(shù)據(jù)挖掘建模工具，通過(guò)上機(jī)實(shí)驗(yàn)，快速理解相關(guān)知識(shí)與理論。
基礎(chǔ)篇（第1～5章）
第1章的主要內(nèi)容是數(shù)據(jù)挖掘基礎(chǔ)；第2章對(duì)本書所用到的數(shù)據(jù)挖掘建模工具Python語(yǔ)言進(jìn)行了簡(jiǎn)明扼要的說(shuō)明；第3～5章對(duì)數(shù)據(jù)挖掘的建模過(guò)程，包括數(shù)據(jù)探索、數(shù)據(jù)預(yù)處理及挖掘建模的常用算法與原理進(jìn)行了介紹。
實(shí)戰(zhàn)篇（第6～12章）
重點(diǎn)對(duì)數(shù)據(jù)挖掘技術(shù)在金融、航空、零售、能源、制造和電商等行業(yè)的應(yīng)用進(jìn)行了分析。在案例結(jié)構(gòu)組織上，本書是按照先介紹案例背景與挖掘目標(biāo)，再闡述分析方法與過(guò)程，最后完成模型構(gòu)建的順序進(jìn)行的，在建模過(guò)程關(guān)鍵環(huán)節(jié)，穿插程序?qū)崿F(xiàn)代碼。最后通過(guò)上機(jī)實(shí)踐，加深對(duì)案例應(yīng)用中的數(shù)據(jù)挖掘技術(shù)的理解。
提高篇（第13章）
重點(diǎn)講解了基于Python引擎的開(kāi)源數(shù)據(jù)挖掘建模平臺(tái)（TipDM）的使用方法，先介紹了平臺(tái)每個(gè)模塊的功能，再以航空公司客戶價(jià)值分析案例為例，介紹如何使用平臺(tái)快速搭建數(shù)據(jù)分析與挖掘工程，展示平臺(tái)去編程化、流程化的特點(diǎn)。
勘誤和支持
我們已經(jīng)盡最大努力避免在文本和代碼中出現(xiàn)錯(cuò)誤，但是由于水平有限，編寫時(shí)間倉(cāng)促，書中難免出現(xiàn)一些疏漏和不足的地方。如果你有更多的寶貴意見(jiàn)，歡迎在泰迪學(xué)社微信公眾號(hào)回復(fù)圖書反饋進(jìn)行反饋。更多有關(guān)本系列圖書的信息可以在泰迪杯數(shù)據(jù)挖掘挑戰(zhàn)賽網(wǎng)站（http://www.tipdm.org/tj/index.jhtml）查閱。

張良均