前　　言
Programming Massively Parallel Processors: A Hands-on Approach, Fourth Edition

我們非常自豪地向你介紹本書(shū)。
融合多核CPU和多線(xiàn)程GPU的大眾市場(chǎng)計(jì)算系統(tǒng)已經(jīng)將萬(wàn)億級(jí)別的計(jì)算能力引入筆記本電腦中，將億億級(jí)別的計(jì)算能力引入計(jì)算集群中。在如此強(qiáng)大的計(jì)算動(dòng)能下，我們正處于科學(xué)、工程、醫(yī)學(xué)以及商業(yè)領(lǐng)域廣泛應(yīng)用計(jì)算實(shí)驗(yàn)的黎明。我們也親歷了GPU計(jì)算在金融、電子商務(wù)、石油與天然氣、制造等關(guān)鍵產(chǎn)業(yè)垂直市場(chǎng)的廣泛滲透。通過(guò)具有前所未有的規(guī)模、精確度、安全性、可控性與可視性的計(jì)算實(shí)驗(yàn)，這些領(lǐng)域的突破將得以實(shí)現(xiàn)。本書(shū)為這一愿景提供了關(guān)鍵要素，即將并行編程教授給數(shù)百萬(wàn)研究生和本科生，使得計(jì)算思維和并行編程技能能夠與微積分技能一樣廣泛普及。
本書(shū)的主要讀者是所有需要通過(guò)計(jì)算思維和并行編程技能來(lái)取得科學(xué)與工程學(xué)科上的突破的研究生和本科生。此外，本書(shū)還被業(yè)內(nèi)專(zhuān)業(yè)開(kāi)發(fā)人員廣泛使用，目標(biāo)是在并行計(jì)算領(lǐng)域?qū)W習(xí)新的技能，與技術(shù)的飛速進(jìn)步保持同步。這些專(zhuān)業(yè)開(kāi)發(fā)人員涵蓋機(jī)器學(xué)習(xí)、網(wǎng)絡(luò)安全、自動(dòng)駕駛、計(jì)算金融、數(shù)據(jù)分析、認(rèn)知計(jì)算、機(jī)械工程、土木工程、電氣工程、生物工程、物理學(xué)、化學(xué)、天文學(xué)以及地理學(xué)等領(lǐng)域，他們運(yùn)用計(jì)算推動(dòng)著各自領(lǐng)域前沿技術(shù)的發(fā)展。因此，這些開(kāi)發(fā)人員既需要是領(lǐng)域?qū)＜遥�同時(shí)也必須是編程專(zhuān)家。本書(shū)通過(guò)逐步建立對(duì)技術(shù)的直觀(guān)理解這一方式講授并行編程。我們假設(shè)讀者至少具備基本的C編程經(jīng)驗(yàn)。我們選用了CUDA C這一并行編程環(huán)境，該環(huán)境需要NVIDIA GPU的支持。在大眾消費(fèi)者和專(zhuān)業(yè)人員手中已有超過(guò)10億臺(tái)這樣的處理器，而超過(guò)40萬(wàn)名程序員在積極地運(yùn)用CUDA進(jìn)行開(kāi)發(fā)。你在學(xué)習(xí)過(guò)程中開(kāi)發(fā)出的應(yīng)用程序，將有可能被非常龐大的用戶(hù)社群所使用。
自2016年第3版上市以來(lái)，我們收到了許多來(lái)自讀者和教師的寶貴意見(jiàn)。其中，很多人肯定了本書(shū)現(xiàn)有的非常重要的特點(diǎn)，其他人則提供了關(guān)于如何擴(kuò)展本書(shū)內(nèi)容以使其更具價(jià)值的建議。與此同時(shí)，自2016年以來(lái)，用于異構(gòu)并行計(jì)算的硬件和軟件技術(shù)已經(jīng)取得了巨大的進(jìn)步。在硬件領(lǐng)域，GPU計(jì)算架構(gòu)已經(jīng)推出了三代新版本，分別是Volta、Turing和Ampere。在軟件領(lǐng)域，從CUDA 9到CUDA 11的發(fā)展使程序員得以訪(fǎng)問(wèn)新的硬件和系統(tǒng)功能。同時(shí)，新的算法也得到了開(kāi)發(fā)。為適應(yīng)這些變化，我們新增了四章，并對(duì)大部分現(xiàn)有章節(jié)進(jìn)行了重寫(xiě)。

新增的四章包括一個(gè)基礎(chǔ)性章節(jié)（第4章），以及三個(gè)關(guān)于并行模式和應(yīng)用的章節(jié)（第8章、第10章和第13章）。我們?cè)黾舆@些章節(jié)的初衷如下：

第4章：在之前的版本中，關(guān)于架構(gòu)和調(diào)度方面的討論分布在多個(gè)章節(jié)中。在這一版中，我們將這些討論集中在一起，以便感興趣的讀者學(xué)習(xí)。
第8章：在之前的版本中，模板模式在關(guān)于卷積的章節(jié)中略有提及，因?yàn)檫@兩種模式有相似之處。在這一版中，第8章對(duì)模板模式進(jìn)行了更為全面的介紹，強(qiáng)調(diào)其背后的數(shù)學(xué)原理，突出其與卷積不同的方面，從而為進(jìn)一步的優(yōu)化提供了可能。這一章還提供了處理三維網(wǎng)格和數(shù)據(jù)的示例。
第10章：在之前的版本中，歸約模式在關(guān)于性能的章節(jié)中略有提及。在這一版中，第10章更為全面地呈現(xiàn)了歸約模式，采用漸進(jìn)的方式應(yīng)用優(yōu)化方法，并更深入地分析了相關(guān)的性能權(quán)衡。
第13章：在之前的版本中，歸并排序在關(guān)于歸并模式的章節(jié)中略有提及。在這一版中，第13章將基數(shù)排序作為一種極其適用于GPU并行化的非比較排序算法進(jìn)行介紹。第13章采用漸進(jìn)的方式進(jìn)行優(yōu)化，并分析了性能權(quán)衡。此外，這一章還對(duì)歸并排序進(jìn)行了探討。
除了新增的章節(jié)外，所有章節(jié)都經(jīng)過(guò)了修訂，部分章節(jié)經(jīng)過(guò)了大幅修改。這些章節(jié)包括：
第6章：之前在本章中的關(guān)于架構(gòu)的內(nèi)容已經(jīng)移到第4章，歸約示例部分則移至第10章。對(duì)于刪改的部分，我們進(jìn)行了重寫(xiě)以更全面地處理線(xiàn)程粒度問(wèn)題，更為重要的是，提供一份常見(jiàn)的性能優(yōu)化策略清單，并討論了每種策略所解決的性能瓶頸。這份清單在本書(shū)的其余部分中被用來(lái)優(yōu)化各種并行模式和應(yīng)用程序的代碼。我們的目標(biāo)是強(qiáng)調(diào)一種用于優(yōu)化并行程序性能的系統(tǒng)且漸進(jìn)的方法。
第7章：在之前的版本中，關(guān)于卷積模式的章節(jié)以一維卷積作為示例，對(duì)二維卷積僅進(jìn)行了簡(jiǎn)要處理。在這一版中，我們對(duì)本章進(jìn)行了重寫(xiě)，從一開(kāi)始就更加注重討論二維卷積。這一變化使我們能夠更全面地探討更高維度平鋪的復(fù)雜性和細(xì)節(jié)，并為讀者學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)（第16章）提供更好的背景。
第9章：在之前的版本中，關(guān)于直方圖模式的章節(jié)從一開(kāi)始就應(yīng)用了線(xiàn)程粗化優(yōu)化，并將私有化優(yōu)化與共享內(nèi)存的使用相結(jié)合。在這一版中，我們對(duì)本章進(jìn)行了重寫(xiě)，采用更漸進(jìn)的方式進(jìn)行性能優(yōu)化�，F(xiàn)在介紹的初始實(shí)現(xiàn)不再應(yīng)用線(xiàn)程粗化，并將私有化和在私有bin中使用共享內(nèi)存區(qū)分為兩種獨(dú)立的優(yōu)化方式，前者旨在減少原子操作的爭(zhēng)用，后者旨在減少訪(fǎng)問(wèn)延遲。線(xiàn)程粗化在私有化后應(yīng)用，因?yàn)榇只�的一個(gè)主要優(yōu)點(diǎn)是減少提交到公共副本的私有副本數(shù)量。這種新的章節(jié)組織方式更加貼合本書(shū)始終遵循的系統(tǒng)化和漸進(jìn)化的性能優(yōu)化方法。此外，由于原子操作被用于多塊歸約和單次掃描核函數(shù)中，因此為了更早地引入原