近年來，隨著各行各業(yè)數(shù)據(jù)資源的極大豐富及大數(shù)據(jù)技術(shù)的不斷發(fā)展，大數(shù)據(jù)相關(guān)產(chǎn)業(yè)迎來了空前的發(fā)展機(jī)遇。大數(shù)據(jù)相關(guān)技術(shù)在各領(lǐng)域得到了廣泛的應(yīng)用，例如，金融大數(shù)據(jù)、商業(yè)大數(shù)據(jù)、網(wǎng)絡(luò)輿情大數(shù)據(jù)及醫(yī)療與健康大數(shù)據(jù)等。對大數(shù)據(jù)人才的市場需求呈現(xiàn)井噴式增長。
各類大數(shù)據(jù)相關(guān)學(xué)科競賽的舉辦，有效促進(jìn)了高等院校大數(shù)據(jù)相關(guān)專業(yè)教學(xué)模式的探索性改良，推進(jìn)相關(guān)專業(yè)課程體系、教學(xué)內(nèi)容和教學(xué)方法等教學(xué)資源的質(zhì)量提升和豐富完善，對于高校大數(shù)據(jù)相關(guān)專業(yè)建設(shè)的發(fā)展起到很好的促進(jìn)作用。通過大數(shù)據(jù)學(xué)科競賽，能夠激發(fā)學(xué)生的自主學(xué)習(xí)熱情，培養(yǎng)學(xué)生的團(tuán)隊意識和創(chuàng)新意識，提高了學(xué)生在平臺搭建、數(shù)據(jù)采集、數(shù)據(jù)分析與挖掘等方面的實踐能力，提高學(xué)生的專業(yè)技能，并踐行了理實一體化做學(xué)教一體化的教學(xué)模式。
本書是作者在長期從事大數(shù)據(jù)分析技術(shù)、數(shù)據(jù)挖掘教學(xué)和科學(xué)研究成果的基礎(chǔ)上，以大學(xué)生大數(shù)據(jù)技能競賽、智警杯公安系統(tǒng)大數(shù)據(jù)技能競賽為背景，以大數(shù)據(jù)分析與應(yīng)用職業(yè)技能等級標(biāo)準(zhǔn)為參考編寫而成。全書共5章，系統(tǒng)介紹了Linux操作系統(tǒng)、數(shù)據(jù)庫技術(shù)、大數(shù)據(jù)平臺技術(shù)、數(shù)據(jù)采集與分析、數(shù)據(jù)挖掘與數(shù)據(jù)可視化等內(nèi)容。
第1章為Linux操作系統(tǒng)，主要介紹主機(jī)名、Hosts映射、防火墻配置等Linux常用命令，同時對時間同步、定時任務(wù)、遠(yuǎn)程訪問等服務(wù)進(jìn)行介紹。
第2章為數(shù)據(jù)庫技術(shù)，主要介紹了數(shù)據(jù)庫的安裝和配置、數(shù)據(jù)庫操作管理、數(shù)據(jù)表操作管理、視圖、權(quán)限管理、備份與還原、非關(guān)系型數(shù)據(jù)庫NoSQL等。
第3章為大數(shù)據(jù)平臺技術(shù)，主要介紹了Hadoop分布式大數(shù)據(jù)框架、Hive數(shù)據(jù)倉庫、HBase數(shù)據(jù)庫、Spark技術(shù)框架、ZooKeeper協(xié)調(diào)框架、Flume數(shù)據(jù)收集、Sqoop數(shù)據(jù)傳輸、Azkaban任務(wù)調(diào)度工具等大數(shù)據(jù)組件架構(gòu)的應(yīng)用，還介紹了故障排查、性能調(diào)優(yōu)等平臺運維管理方案。
第4章為數(shù)據(jù)采集與分析，主要介紹了HTTP原理、網(wǎng)頁組成、網(wǎng)絡(luò)請求、XPath解析、數(shù)據(jù)存儲等網(wǎng)絡(luò)信息獲取技術(shù)，同時對數(shù)據(jù)進(jìn)行了統(tǒng)計分析方法介紹，包括描述性分析、探索性分析、缺失值分析等方法。
第5章為數(shù)據(jù)挖掘與數(shù)據(jù)可視化，介紹通過算法提取挖掘數(shù)據(jù)中的有用信息，主要內(nèi)容包括線性回歸、邏輯回歸、決策樹等算法，介紹如何對數(shù)據(jù)進(jìn)行可視化呈現(xiàn)和數(shù)據(jù)分析報告的撰寫。
本書詳細(xì)介紹了大數(shù)據(jù)及數(shù)據(jù)分析的技術(shù)構(gòu)成，理論和實踐緊密結(jié)合，可以幫助讀者梳理思路，對比不同技術(shù)的優(yōu)勢并做出選擇，從而更加符合產(chǎn)業(yè)發(fā)展的需求。
本書結(jié)合歷年競賽真題知識的解析，可作為參加大數(shù)據(jù)類競賽的輔導(dǎo)用書，同時配有全套教學(xué)課件、數(shù)據(jù)集、視頻、環(huán)境等實訓(xùn)資源，亦可作為高等院校大數(shù)據(jù)相關(guān)專業(yè)、相關(guān)課程的實訓(xùn)教材，或是培訓(xùn)機(jī)構(gòu)的培訓(xùn)教材。
本書主編為李輝、張瑩、盧興民，副主編為胡健、張福華、蔣紅蘭，參編人員為王新猛、李鳳蓮、王彥平、李超、楊海迎。在本書編寫過程中，特別是真題梳理驗證過程中，北京紅亞華宇科技有限公司提供了資料協(xié)助和平臺支持，在此表示衷心感謝。
大數(shù)據(jù)技能競賽知識點解析與實踐由于編者水平有限，加之大數(shù)據(jù)技術(shù)的發(fā)展日新月異，書中難免會有疏漏和不妥之處，敬請廣大讀者批評指正。

編者