人工智能技術(shù)正在深刻改變著我們的學習、工作和生活。從計算機視覺到自然語言處理，從自動駕駛到智能機器人，AI應用的蓬勃發(fā)展對計算平臺提出了新的挑戰(zhàn)。這些挑戰(zhàn)主要表現(xiàn)在以下兩個方面：1）計算需求的爆炸性增長，深度學習模型規(guī)模持續(xù)擴大，訓練數(shù)據(jù)量急劇增加，實時推理應用對延遲提出更高要求，邊緣計算場景對能效比的要求提升；2）新興應用帶來的特殊需求，包括大規(guī)模矩陣運算加速、靈活的數(shù)據(jù)精度支持、復雜的數(shù)據(jù)重用模式，以及特定算子的硬件映射優(yōu)化。
隨著人工智能技術(shù)的快速發(fā)展和廣泛應用，傳統(tǒng)通用處理器架構(gòu)在處理AI工作負載時的局限性日益凸顯，其瓶頸主要表現(xiàn)在：存儲墻問題日益嚴重、對AI特征計算支持不足、控制邏輯開銷過大，以及數(shù)據(jù)搬運效率低下。為了更好地支持大規(guī)模參數(shù)和復雜計算結(jié)構(gòu)的機器學習模型的高效執(zhí)行，專門面向人工智能領(lǐng)域的處理器架構(gòu)設(shè)計成為近幾年計算機體系結(jié)構(gòu)領(lǐng)域最活躍的研究方向之一。面對傳統(tǒng)處理器在AI領(lǐng)域應用的瓶頸，設(shè)計專用的AI處理器架構(gòu)已是大勢所趨。由此，作者團隊撰寫了本書，對AI處理器硬件架構(gòu)設(shè)計進行了全方位的系統(tǒng)闡述。
本書所呈現(xiàn)的內(nèi)容基于工業(yè)界當下實際的產(chǎn)品和應用技術(shù)，在不侵犯商用知識產(chǎn)權(quán)的前提下，盡力為讀者呈現(xiàn)是什么（What）為什么這樣設(shè)計（Why），以及如何設(shè)計，如何分析（How）。在本書的寫作過程中，作者相對弱化了對計算機體系結(jié)構(gòu)基礎(chǔ)知識的闡述，將更多的篇幅有針對性地聚焦于處理器架構(gòu)/微架構(gòu)設(shè)計的內(nèi)容，最大限度地為讀者呈現(xiàn)硬件架構(gòu)/微架構(gòu)的全貌，以及如何設(shè)計一款AI處理器。
無論是產(chǎn)品還是工程經(jīng)驗，都會存在自身的局限性。每個成熟的商業(yè)公司都有其特有研發(fā)體系，工程師也往往在體系之內(nèi)選擇自己認為適宜的方式去做設(shè)計以及思考，這本身就帶有一定的慣性和片面性。因此，作者通過一家之言拋磚引玉，希望能夠引發(fā)讀者對設(shè)計的思考；或者，根據(jù)作者的視角和工程經(jīng)驗，啟發(fā)讀者的思路。如果本書能夠幫助讀者解決實際的工程問題，或者幫助讀者彌合了課堂與工業(yè)界的差距，那么作者將甚感榮幸。
《AI處理器硬件架構(gòu)設(shè)計》分為9章，各章內(nèi)容如下。
第1章為基礎(chǔ)知識概述，簡要介紹了神經(jīng)網(wǎng)絡(luò)和硬件加速平臺的相關(guān)基礎(chǔ)知識，便于讀者理解后續(xù)內(nèi)容。
第2章和第3章從宏觀角度分別介紹了AI處理器指令集與硬件架構(gòu)的設(shè)計。其中第2章為讀者介紹了一套通用的AI處理器指令集的詳細規(guī)格，包括標量指令、向量指令、矩陣運算指令等。第3章為架構(gòu)設(shè)計總述，介紹了當前典型的AI處理器架構(gòu)實現(xiàn)（包括VLIW/超標量 SIMD和SIMT），計算核心向量運算單元、矩陣處理單元，以及標量處理單元三者的架構(gòu)設(shè)計、流水線分配，以及運算融合。
AI處理器硬件架構(gòu)設(shè)計第4章介紹了向量處理單元的詳細微架構(gòu)設(shè)計，涉及從整體微架構(gòu)到各個功能單元的設(shè)計，包括浮點運算單元、各種向量類指令和超越函數(shù)類指令的硬件實現(xiàn)。
第5章介紹了矩陣處理單元的詳細微架構(gòu)設(shè)計，重點闡述了數(shù)據(jù)流設(shè)計、脈動陣列的設(shè)計和優(yōu)化，以及乘累加單元的硬件實現(xiàn)。
第6章介紹了標量處理單元的詳細微架構(gòu)設(shè)計，對應于標量指令的生命周期，基于AI處理器與通用CPU在應用場景與設(shè)計考量上的差異，根據(jù)流水線設(shè)計的次序，依次講解了指令提取單元、分支預測單元、指令譯碼單元與指令發(fā)射單元、執(zhí)行單元，以及訪存單元的微架構(gòu)設(shè)計。
第7章介紹了數(shù)據(jù)搬運單元的設(shè)計，包括數(shù)據(jù)傳輸和在線處理，以及總線接口單元設(shè)計。
第8章介紹了AI處理器中存儲系統(tǒng)的設(shè)計，包括存儲器中Bank的劃分、Gather/Scatter引擎的設(shè)計，以及進行相應的物理實現(xiàn)時需要關(guān)注的問題。
第9章對西安交通大學人工智能與機器人研究所研發(fā)的HiPU微架構(gòu)進行了深度剖析，包括從指令集設(shè)計到硬件架構(gòu)的實現(xiàn)。通過對流水線和各功能單元微架構(gòu)的介紹，讀者可對第2~8章中介紹的內(nèi)容進行相互印證并將所學知識融會貫通。
感謝西安交通大學趙文哲副教授和大洋彼岸的同學Howard Wong在本書策劃與編寫過程中提供的指導及幫助；感謝機械工業(yè)出版社編輯李培培一如既往的關(guān)照和支持。
天下事，在局外吶喊議論，總是無益。必須躬身入局，挺膺負責，方有成事之可冀。最后以此句話與各位業(yè)界同仁共勉。

李東聲