国产资源无限好片,一级毛片黄色

本書以Spark 3.x和Scala 2.x為主線，全面介紹了Spark及其生態(tài)體系中常用大數(shù)據(jù)項(xiàng)目的安裝和使用。全書共10章，分別講解了Scala語言基礎(chǔ)、Spark基礎(chǔ)、Spark RDD、Spark SQL、HBase、Kafka、Spark Streaming、Structured Streaming和Spark MLlib，并在最后完整開發(fā)了一個在線教育學(xué)生學(xué)習(xí)情況分析系統(tǒng)，幫助讀者鞏固前面所學(xué)的內(nèi)容。
本書附有配套視頻、教學(xué)PPT、教學(xué)設(shè)計(jì)、測試題等資源，同時，為了幫助初學(xué)者更好地學(xué)習(xí)本書中的內(nèi)容，還提供了在線答疑，歡迎讀者關(guān)注。
本書可以作為高等院校數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)及相關(guān)專業(yè)的教材，并適合大數(shù)據(jù)開發(fā)初學(xué)者、大數(shù)據(jù)分析與挖掘的從業(yè)者閱讀。

黨的二十大指出實(shí)踐沒有止境，理論創(chuàng)新也沒有止境。隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，各種數(shù)字設(shè)備、傳感器、物聯(lián)網(wǎng)設(shè)備等在全球范圍內(nèi)產(chǎn)生了海量數(shù)據(jù)。這些數(shù)據(jù)以幾何速度爆發(fā)性增長，給傳統(tǒng)的數(shù)據(jù)處理方式帶來了前所未有的挑戰(zhàn)。如何滿足大規(guī)模數(shù)據(jù)處理的需求，成了一個熱門的研究課題，基于這種需求，人們需要新的技術(shù)來處理海量數(shù)據(jù)。
Spark提供了快速、通用、可擴(kuò)展的大數(shù)據(jù)處理分析引擎，有效解決了海量數(shù)據(jù)的分析、處理問題，因此基于Spark的各種大數(shù)據(jù)技術(shù)得到了廣泛應(yīng)用和普及。自Spark項(xiàng)目問世以來，Spark生態(tài)系統(tǒng)不斷壯大，越來越多的大數(shù)據(jù)技術(shù)基于Spark進(jìn)行開發(fā)和應(yīng)用，在國內(nèi)外各企業(yè)中得到了廣泛應(yīng)用，對于要往大數(shù)據(jù)方向發(fā)展的讀者而言，學(xué)習(xí)Spark是一個不錯的選擇。
本書在《Spark大數(shù)據(jù)分析與實(shí)戰(zhàn)》基礎(chǔ)上進(jìn)行了改版，優(yōu)化了原書內(nèi)容，并進(jìn)行了以下調(diào)整。
●新增了Spark流式計(jì)算引擎Structured Streaming的講解。
●調(diào)整了項(xiàng)目實(shí)現(xiàn)和背景，使項(xiàng)目的內(nèi)容更加豐富。
●調(diào)整了部分需求的實(shí)現(xiàn)方式，增強(qiáng)了教學(xué)的實(shí)用性。
●調(diào)整了知識講解的結(jié)構(gòu)，更符合循序漸進(jìn)的學(xué)習(xí)規(guī)律。
●添加素質(zhì)教育的內(nèi)容，將素質(zhì)教育的內(nèi)容與專業(yè)知識有機(jī)結(jié)合。
本書基于Spark 3.x和Scala 2.x，循序漸進(jìn)地介紹了Spark的相關(guān)知識以及Spark生態(tài)體系一些常用的組件和開源大數(shù)據(jù)項(xiàng)目。本書共10章，具體內(nèi)容如下。
●第1章主要講解什么是Scala以及Scala編程相關(guān)知識。
●第2章主要介紹什么是Spark，以及部署Spark的方式，并通過Spark Shell和一個簡單的案例介紹Spark的使用。
●第3、4章主要講解如何使用Spark的兩個組件Spark RDD和Spark SQL進(jìn)行數(shù)據(jù)處理，并利用這兩個組件處理和操作不同的數(shù)據(jù)源。
●第5、6章主要介紹Spark生態(tài)體系常用開源大數(shù)據(jù)項(xiàng)目的原理和使用，并利用HBase實(shí)現(xiàn)數(shù)據(jù)存儲和Kafka實(shí)現(xiàn)數(shù)據(jù)的生產(chǎn)和消費(fèi)。
●第7～9章主要講解如何使用Spark的3個組件Spark Streaming、Structured Streaming和Spark MLlib，并利用這3個組件實(shí)現(xiàn)數(shù)據(jù)的實(shí)時處理和通過模型推薦數(shù)據(jù)。
●第10章通過一個完整的實(shí)戰(zhàn)項(xiàng)目，指導(dǎo)讀者靈活運(yùn)用Spark及其生態(tài)系統(tǒng)進(jìn)行簡單的項(xiàng)目開發(fā)。
在學(xué)習(xí)過程中，讀者如果遇到困難，建議不要糾結(jié)于某個地方，可以先往后學(xué)習(xí)。通常來講，通過逐漸深入的學(xué)習(xí)，前面不懂和產(chǎn)生疑惑的知識點(diǎn)也就能夠理解了。在學(xué)習(xí)編程和部署環(huán)境的過程中，一定要多動手實(shí)踐，如果在實(shí)踐的過程中遇到問題，建議多思考，厘清思路，認(rèn)真分析問題發(fā)生的原因，并在問題解決后及時總結(jié)經(jīng)驗(yàn)。
前言Spark大數(shù)據(jù)分析與實(shí)戰(zhàn)（第2版）本書配套服務(wù)
為了提升您的學(xué)習(xí)或教學(xué)體驗(yàn)，我們精心為本書配備了豐富的數(shù)字化資源和服務(wù)，包括在線答疑、教學(xué)大綱、教學(xué)設(shè)計(jì)、教學(xué)PPT、教學(xué)視頻、測試題、源代碼等。通過這些配套資源和服務(wù)，我們希望讓您的學(xué)習(xí)或教學(xué)變得更加高效。請掃描下方二維碼獲取本書配套資源和服務(wù)。

致謝
本書的編寫和整理工作由傳智教育完成，全體參編人員在編寫過程中付出了辛勤的勞動，除此之外還有許多試讀人員參與了本書的試讀工作并給出了寶貴的建議，在此一并表示衷心的感謝。
意見反饋
本書難免有不妥之處，歡迎讀者提出寶貴意見。在閱讀本書時，如果發(fā)現(xiàn)任何問題或有不認(rèn)同之處，可以通過電子郵件與編者聯(lián)系。請發(fā)送電子郵件至itcast_book@vip.sina.com。

傳智教育黑馬程序員2025年1月于北京

第1章Scala語言基礎(chǔ)1
1.1Scala概述1
1.1.1初識Scala1
1.1.2Scala的安裝2
1.1.3在IntelliJ IDEA中安裝Scala插件6
1.1.4Scala初體驗(yàn)8
1.2Scala的基礎(chǔ)語法12
1.2.1變量12
1.2.2常量12
1.2.3數(shù)據(jù)類型13
1.2.4運(yùn)算符15
1.2.5控制結(jié)構(gòu)語句16
1.2.6方法和函數(shù)26
1.3Scala數(shù)據(jù)結(jié)構(gòu)29
1.3.1數(shù)組29
1.3.2元組35
1.3.3集合36
1.4Scala面向?qū)ο?3
1.4.1類和對象43
1.4.2單例對象46
1.4.3繼承47
1.4.4特質(zhì)49
1.5本章小結(jié)51
1.6課后習(xí)題51
第2章Spark基礎(chǔ)53
2.1初識Spark53
2.1.1Spark概述53
2.1.2Spark的特點(diǎn)54
2.1.3Spark應(yīng)用場景55
2.1.4Spark與MapReduce的區(qū)別55
2.2Spark基本架構(gòu)及運(yùn)行流程56
2.2.1基本概念56
2.2.2Spark基本架構(gòu)57
2.2.3Spark運(yùn)行流程58
2.3Spark的部署模式59
2.4部署Spark59
2.4.1基于Local模式部署Spark59
2.4.2基于Standalone模式部署Spark61
2.4.3基于High Availability模式部署Spark66
2.4.4基于Spark on YARN模式部署Spark70
2.5Spark初體驗(yàn)71
2.6Spark Shell73
2.6.1Spark Shell命令74
2.6.2讀取HDFS文件實(shí)現(xiàn)詞頻統(tǒng)計(jì)74
2.7案例開發(fā)Spark程序76
2.7.1環(huán)境準(zhǔn)備76
2.7.2基于本地模式開發(fā)Spark程序80
2.7.3基于集群模式開發(fā)Spark程序81
2.8本章小結(jié)84
2.9課后習(xí)題84
目錄Spark大數(shù)據(jù)分析與實(shí)戰(zhàn)（第2版）第3章Spark RDD彈性分布式數(shù)據(jù)集86
3.1RDD簡介86
3.2RDD的創(chuàng)建87
3.2.1基于文件創(chuàng)建RDD87
3.2.2基于數(shù)據(jù)集合創(chuàng)建RDD89
3.3RDD的處理過程89
3.3.1轉(zhuǎn)換算子90
3.3.2行動算子97
3.4RDD的分區(qū)102
3.5RDD的依賴關(guān)系103
3.6RDD機(jī)制105
3.6.1持久化機(jī)制105
3.6.2容錯機(jī)制106
3.7Spark的任務(wù)調(diào)度107
3.7.1DAG的概念107
3.7.2RDD在Spark中的運(yùn)行流程108
3.8本章小結(jié)109
3.9課后習(xí)題110
第4章Spark SQL結(jié)構(gòu)化數(shù)據(jù)處理模塊111
4.1Spark SQL的基礎(chǔ)知識111
4.1.1Spark SQL的簡介111
4.1.2Spark SQL架構(gòu)112
4.2DataFrame的基礎(chǔ)知識113
4.2.1DataFrame簡介113
4.2.2DataFrame的創(chuàng)建114
4.2.3DataFrame的常用操作117
4.2.4DataFrame的函數(shù)操作120
4.3RDD轉(zhuǎn)換為DataFrame130
4.3.1反射機(jī)制推斷Schema130
4.3.2編程方式定義Schema132
4.4Dataset的基礎(chǔ)知識133
4.4.1Dataset簡介133
4.4.2Dataset的創(chuàng)建134
4.5Spark SQL操作數(shù)據(jù)源135
4.5.1Spark SQL操作MySQL136
4.5.2Spark SQL操作Hive139
4.6本章小結(jié)141
4.7課后習(xí)題141
第5章HBase分布式數(shù)據(jù)庫143
5.1HBase的基礎(chǔ)知識143
5.1.1HBase的簡介143
5.1.2HBase的數(shù)據(jù)模型144
5.2深入學(xué)習(xí)HBase原理145
5.2.1HBase架構(gòu)145
5.2.2物理存儲146
5.2.3HBase讀寫數(shù)據(jù)流程147
5.3搭建HBase高可用集群149
5.4HBase的基本操作154
5.4.1HBase的Shell操作154
5.4.2HBase的Java API操作160
5.5HBase集成Hive167
5.6本章小結(jié)172
5.7課后習(xí)題172
第6章Kafka分布式發(fā)布訂閱消息系統(tǒng)173
6.1消息隊(duì)列簡介173
6.2Kafka簡介176
6.3Kafka工作原理176
6.3.1Kafka的基本架構(gòu)176
6.3.2Kafka工作流程179
6.4搭建Kafka集群180
6.5Kafka的基本操作182
6.5.1Kafka的Shell操作183
6.5.2Kafka的Scala API操作186
6.6Kafka Streams190
6.6.1Kafka Streams概述191
6.6.2Kafka Streams實(shí)現(xiàn)單詞計(jì)數(shù)功能191
6.7本章小結(jié)194
6.8課后習(xí)題195
第7章Spark Streaming實(shí)時計(jì)算框架197
7.1實(shí)時計(jì)算概述197
7.2Spark Streaming的概述198
7.2.1Spark Streaming簡介198
7.2.2Spark Streaming的工作原理200
7.3Spark Streaming的DStream200
7.4Spark Streaming的編程模型201
7.5Spark Streaming的API操作202
7.5.1輸入操作202
7.5.2轉(zhuǎn)換操作205
7.5.3輸出操作214
7.5.4窗口操作218
7.5.5案例電商網(wǎng)站實(shí)時熱門品類統(tǒng)計(jì)223
7.6Spark Streaming整合Kafka226
7.7本章小結(jié)229
7.8課后習(xí)題229
第8章Structured Streaming流計(jì)算引擎231
8.1Spark Streaming的不足231
8.2Structured Streaming概述232
8.2.1Structured Streaming簡介232
8.2.2Structured Streaming編程模型233
8.3Structured Streaming的API操作234
8.3.1輸入操作234
8.3.2轉(zhuǎn)換操作239
8.3.3輸出操作242
8.4時間和窗口操作247
8.4.1時間的分類247
8.4.2窗口操作248
8.5案例物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)分析252
8.5.1準(zhǔn)備數(shù)據(jù)252
8.5.2分析數(shù)據(jù)255
8.6本章小結(jié)259
8.7課后習(xí)題259
第9章Spark MLlib機(jī)器學(xué)習(xí)庫261
9.1初識機(jī)器學(xué)習(xí)261
9.1.1什么是機(jī)器學(xué)習(xí)261
9.1.2機(jī)器學(xué)習(xí)的應(yīng)用262
9.2Spark MLlib概述263
9.2.1Spark MLlib簡介263
9.2.2Spark MLlib工作流程264
9.3數(shù)據(jù)類型265
9.4Spark MLlib基本統(tǒng)計(jì)269
9.4.1摘要統(tǒng)計(jì)270
9.4.2相關(guān)統(tǒng)計(jì)271
9.4.3分層抽樣272
9.5分類273
9.5.1線性支持向量機(jī)274
9.5.2邏輯回歸276
9.6案例構(gòu)建電影推薦系統(tǒng)278
9.6.1案例分析278
9.6.2案例實(shí)現(xiàn)279
9.7本章小結(jié)282
9.8課后習(xí)題282
第10章綜合案例在線教育學(xué)生學(xué)習(xí)情況分析系統(tǒng)284
10.1系統(tǒng)概述284
10.1.1系統(tǒng)背景介紹284
10.1.2系統(tǒng)流程分析285
10.2Redis的安裝和啟動286
10.3模塊開發(fā)構(gòu)建項(xiàng)目結(jié)構(gòu)287
10.4模塊開發(fā)在線教育數(shù)據(jù)的生成288
10.5模塊開發(fā)實(shí)時分析學(xué)生答題情況288
10.6模塊開發(fā)實(shí)時推薦題目288
10.7模塊開發(fā)學(xué)生答題情況離線分析289
10.8模塊開發(fā)數(shù)據(jù)可視化289
10.9本章小結(jié)289

你還可能感興趣

我要評論