免费国产在线播放,国产精品开放90后亚洲,日本a级网站

Spark SQL是 Spark大數據框架的一部分，支持使用標準SQL查詢和HiveQL來讀寫數據，可用于結構化數據處理，并可以執(zhí)行類似SQL的Spark數據查詢，有助于開發(fā)人員更快地創(chuàng)建和運行Spark程序。
全書分為4篇，共9章，第一篇講解了Spark SQL 發(fā)展歷史和開發(fā)環(huán)境搭建。第二篇講解了Spark SQL 實例，使得讀者掌握Spark SQL的入門操作，了解Spark RDD、DataFrame和DataSet，并熟悉 DataFrame 各種操作。第三篇講解了基于WiFi探針的商業(yè)大數據分析項目，實例中包含數據采集、預處理、存儲、利用Spark SQL 挖掘數據，一步一步帶領讀者學習Spark SQL強大的數據挖掘功能。第四篇講解了Spark SQL 優(yōu)化的知識。
本書適合Spark初學者、Spark數據分析人員以及Spark程序開發(fā)人員，也適合高校和培訓學校相關專業(yè)的師生教學參考。

我們處于一個數據爆炸的時代！

大量涌現的智能手機、平板、可穿戴設備及物聯網設備每時每刻都在產生新的數據，然而帶來革命性變革的并非海量數據本身，而是我們如何從這些數據中挖掘到有價值的信息，來輔助我們做出更加智能的決策。我們知道，在生產環(huán)境下，所謂的大數據往往是由數千萬條、上億條具有多個預定義字段的數據單元組成的數據集，是不是很像傳統(tǒng)關系型數據庫的二維數據表呢？那么我們是否也能找到一個像SQL查詢那樣簡便的工具來高效地分析處理大數據領域中的海量結構化數據呢？沒錯，這個工具就是Spark SQL。

Spark SQL是Spark 用來操作結構化數據的高級模塊，在程序中通過引入Spark SQL模塊，我們便可以像從前在關系型數據庫利用SQL（結構化查詢語言）分析關系型數據庫表一樣簡單快捷地在Spark大數據分析平臺上對海量結構化數據進行快速分析，而 Spark 平臺屏蔽了底層分布式存儲、計算、通信的細節(jié)以及作業(yè)解析、調度的細節(jié)，使我們開發(fā)者僅需關注如何利用SQL 進行數據分析的程序邏輯就可以方便地操控集群來分析我們的數據。

本書內容

本書共分為四篇：入門篇、基礎篇、實踐篇、調優(yōu)篇，所有代碼均采用簡潔而優(yōu)雅的Scala語言編寫，Spark框架也是使用Scala語言編寫的。

第一部分入門篇（第1、2章）

第1章簡要介紹Spark的誕生、Spark SQL的發(fā)展歷史以及Spark SQL的用處等內容，使讀者快速了解Spark SQL背景知識，為以后的學習奠定基礎。

第2章通過講解Spark SQL開發(fā)環(huán)境的搭建、Spark作業(yè)的打包提交、常見問題的解答，并結合大量圖示，使讀者快速掌握開發(fā)環(huán)境的搭建以及提交應用程序到集群上，為后面章節(jié)的學習奠定堅實的基礎。

第二部分基礎篇（第3、4、5、6章）

第3章是真正開始學習Spark SQL必要的先修課，其中詳盡地介紹了Spark框架對數據的核心抽象——RDD（彈性分布式數據集）的方方面面。先介紹與RDD相關的基本概念，例如轉化操作、行動操作、惰性求值、緩存，講解的過程伴隨著豐富的示例，旨在提高讀者對RDD的理解與加強讀者的RDD編程基礎。在講明白RDD中基礎內容的同時，又深入地剖析了疑點、難點，例如RDD Lineage（RDD依賴關系圖）、向Spark傳遞函數、對閉包的理解等。在之前對基本類型RDD的學習基礎上，又引入了對特殊類RDD——鍵值對RDD的大致介紹，在鍵值對RDD介紹中對combineByKey操作的講解，深入地從代碼實現的角度洞悉了Spark分布式計算的實質，旨在幫助對RDD有著濃厚興趣的讀者做進一步的拓展。最后，站在RDD設計者的角度重新審視了RDD緩存、持久化、checkpoint機制，從而詮釋了RDD為什么能夠很好地適應大數據分析業(yè)務的特點，有天然強大的容錯性、易恢復性和高效性。

第4章對Spark高級模塊——Spark SQL，也就是本書的主題，進行了簡明扼要的概述，并講述了相應的Spark SQL編程基礎。先是通過與前一章所學的Spark對數據的核心抽象——RDD的對比，引出了Spark SQL中核心的數據抽象——DataFrame，講解了兩者的異同，點明了Spark SQL是針對結構化數據處理的高級模塊的原因在于其內置豐富結構信息的數據抽象。后一部分通過豐富的示例講解了如何利用Spark SQL模塊來編程的主要步驟，例如，從結構化數據源中創(chuàng)建DataFrames、DataFrames基本操作以及執(zhí)行SQL查詢等。

第5、6章屬于 Spark SQL編程的進階內容，也是我們將Spark SQL應用于生產、科研計算環(huán)境下，真正開始分析多類數據源、實現各種復雜業(yè)務需求必須要掌握的知識。在第5章里，我們以包含簡單且典型的學生信息表的JSON文件作為數據源，深入對DataFrame豐富強大的API進行研究，以操作講解加示例的形式包攬了DataFrame中每一個常用的行動、轉化操作，進而幫助讀者輕松高效地組合使用DataFrame所提供的API來實現業(yè)務需求。在第6章里，介紹了Spark SQL 可處理的各種數據源，包括Hive表、JSON和Parquet文件等，從廣度上使讀者了解Spark SQL在大數據領域對典型結構化數據源的皆可處理性，從而使讀者真正在工作中掌握一門結構化數據的分析利器。

第三部分實踐篇（第7、8章）

第7章通過講解大型商業(yè)實例項目（基于WiFi探針的商業(yè)大數據分析技術）的功能需求、系統(tǒng)架構、功能設計、數據庫結構來幫助讀者理解如何在實際開發(fā)中應用Spark SQL來處理結構化數據，加強讀者的工程思維，同時為第8章的學習做好鋪墊。

第8章通過講解分布式環(huán)境搭建以及項目代碼的解析來幫助讀者進一步理解Spark SQL應用程序的執(zhí)行過程，在后一部分介紹了Spark SQL程序的遠程調試方法和Spark 的Web 界面，幫助讀者更加方便地了解程序的運行狀態(tài)。

第四部分調優(yōu)篇（第9章）

調優(yōu)篇由第9章組成，本篇從Spark的執(zhí)行流程到內存以及任務的劃分，再到Spark應用程序的編寫技巧，接著到Spark本身的調優(yōu)，最后引出數據傾斜的解決思路，層層遞進，逐步解析Spark的調優(yōu)思想。最后以對Spark 執(zhí)行引擎 Tungsten與Spark SQL的解析引擎Catalyst的介紹作為本部分的結尾。筆者將在本篇中帶領讀者掌握Spark的調優(yōu)方式以及思想，讓Spark程序再快一點。

本書適合讀者

本書適合于學習數據挖掘、有海量結構化數據分析需求的大數據從業(yè)者及愛好者閱讀，也可以作為高等院校相關專業(yè)的教材。建議在學習本書內容的過程中，理論聯系實際，獨立進行一些代碼的編寫，采取開放式的實驗方法，即讀者自行準備實驗數據和實驗環(huán)境，解決實際問題，最終達到理論聯系實際的目的。

本書在寫作過程中得到了家人以及本書編輯的大力支持，在此對他們一并表示感謝。

本書由紀涵（主要負責基礎篇的編寫）主筆，其他參與著作的還有靖曉文（主要負責實踐篇的編寫）、趙政達（主要負責入門篇、調優(yōu)篇的編寫），排名不分先后。

紀涵

2018年2月

第一部分入門篇

第1章初識Spark SQL 3

1.1 Spark SQL的前世今生 3

1.2 Spark SQL能做什么 4

第2章 Spark安裝、編程環(huán)境搭建以及打包提交 6

2.1 Spark的簡易安裝 6

2.2 準備編寫Spark應用程序的IDEA環(huán)境 10

2.3 將編寫好的Spark應用程序打包成jar提交到Spark上 18

第二部分基礎篇

第3章 Spark上的RDD編程 23

3.1 RDD基礎 24

3.1.1 創(chuàng)建RDD 24

3.1.2 RDD轉化操作、行動操作 24

3.1.3 惰性求值 25

3.1.4 RDD緩存概述 26

3.1.5 RDD基本編程步驟 26

3.2 RDD簡單實例—wordcount 27

3.3 創(chuàng)建RDD 28

3.3.1 程序內部數據作為數據源 28

3.3.2 外部數據源 29

3.4 RDD操作 33

3.4.1 轉化操作 34

3.4.2 行動操作 37

3.4.3 惰性求值 38

3.5 向Spark傳遞函數 39

3.5.1 傳入匿名函數 39

3.5.2 傳入靜態(tài)方法和傳入方法的引用 40

3.5.3 閉包的理解 41

3.5.4 關于向Spark傳遞函數與閉包的總結 42

3.6 常見的轉化操作和行動操作42

3.6.1 基本RDD轉化操作 43

3.6.2 基本RDD行動操作 48

3.6.3 鍵值對RDD 52

3.6.4 不同類型RDD之間的轉換 56

3.7 深入理解RDD 57

3.8 RDD 緩存、持久化 59

3.8.1 RDD緩存 59

3.8.2 RDD持久化 61

3.8.3 持久化存儲等級選取策略 63

3.9 RDD checkpoint容錯機制 64

第4章 Spark SQL編程入門 66

4.1 Spark SQL概述 66

4.1.1 Spark SQL是什么 66

4.1.2 Spark SQL通過什么來實現 66

4.1.3 Spark SQL 處理數據的優(yōu)勢 67

4.1.4 Spark SQL數據核心抽象——DataFrame 67

4.2 SparkSQL編程入門示例 69

4.2.1 程序主入口：SparkSession 69

4.2.2 創(chuàng)建 DataFrame 70

4.2.3 DataFrame基本操作 70

4.2.4 執(zhí)行SQL查詢 72

4.2.5 全局臨時表 73

4.2.6 Dataset 73

4.2.7 將RDDs轉化為DataFrame 75

4.2.8 用戶自定義函數 78

第5章 Spark SQL的DataFrame操作大全 82

5.1 由JSON文件生成所需的DataFrame對象 82

5.2 DataFrame上的行動操作 84

5.3 DataFrame上的轉化操作 91

5.3.1 where條件相關 92

5.3.2 查詢指定列 94

5.3.3 思維開拓：Column的巧妙應用 99

5.3.4 limit操作 102

5.3.5 排序操作：order by和sort 103

5.3.6 group by操作 106

5.3.7 distinct、dropDuplicates去重操作 107

5.3.8 聚合操作 109

5.3.9 union合并操作 110

5.3.10 join操作 111

5.3.11 獲取指定字段統(tǒng)計信息 114

5.3.12 獲取兩個DataFrame中共有的記錄 116

5.3.13 獲取一個DataFrame中有另一個DataFrame中沒有的記錄 116

5.3.14 操作字段名 117

5.3.15 處理空值列 118

第6章 Spark SQL支持的多種數據源 121

6.1 概述 121

6.1.1 通用load/save 函數 121

6.1.2 手動指定選項 123

6.1.3 在文件上直接進行SQL查詢 123

6.1.4 存儲模式 123

6.1.5 持久化到表 124

6.1.6 bucket、排序、分區(qū)操作 124

6.2 典型結構化數據源 125

6.2.1 Parquet 文件 125

6.2.2 JSON 數據集 129

6.2.3 Hive表 130

6.2.4 其他數據庫中的數據表 133

第三部分實踐篇

第7章 Spark SQL 工程實戰(zhàn)之基于WiFi探針的商業(yè)大數據分析技術139

7.1 功能需求 139

7.1.1 數據收集 139

7.1.2 數據清洗 140

7.1.3 客流數據分析 141

7.1.4 數據導出 142

7.2 系統(tǒng)架構 142

7.3 功能設計 143

7.4 數據庫結構 144

7.5 本章小結 144

第8章第一個Spark SQL應用程序 145

8.1 完全分布式環(huán)境搭建 145

8.1.1 Java 環(huán)境配置 145

8.1.2 Hadoop 安裝配置 146

8.1.3 Spark安裝配置 149

8.2 數據清洗 150

8.3 數據處理流程 153

8.4 Spark程序遠程調試 164

8.4.1 導出jar包 164

8.4.2 IDEA配置 168

8.4.3 服務端配置 170

8.5 Spark的Web界面 171

8.6 本章小結 172

第四部分優(yōu)化篇

第9章讓Spark程序再快一點 175

9.1 Spark執(zhí)行流程 175

9.2 Spark內存簡介 176

9.3 Spark的一些概念 177

9.4 Spark編程四大守則 178

9.5 Spark調優(yōu)七式 183

9.6 解決數據傾斜問題 192

9.7 Spark 執(zhí)行引擎 Tungsten 簡介 195

9.8 Spark SQL解析引擎Catalyst 簡介 197

9.9 本章小結 200

你還可能感興趣

我要評論